Battaglia tra i giganti dell’LLM Google PaLM 2 vs OpenAI GPT-3.5

Google PaLM 2 vs OpenAI GPT-3.5 LLM Battle.

Un confronto pratico utilizzando i dati del mondo reale di Outside, Pinecone e Langchain

Google ha rilasciato PaLM 2 il 10 maggio 2023, come degna risposta al GPT-4 di OpenAI. Nel loro recente evento I/O, Google ha presentato la coinvolgente famiglia di modelli PaLM 2, che varia dalle dimensioni più piccole alle più grandi: Gecko, Otter, Bison e Unicorn. Non solo PaLM 2 è migliore, più veloce e più piccolo del precedente PaLM, ma brilla anche in alcune aree di ragionamento rispetto a gpt-4, secondo il Rapporto Tecnico di Google PaLM 2 ( (vedi tabella 5 e tabella 7).

Come molti altri, presso Outside, siamo in viaggio di apprendimento per adottare LLMs per servire meglio la nostra comunità all’aperto. Di recente, abbiamo avuto l’opportunità di mettere alla prova PaLM2 e GPT-3.5 usando casi d’uso reali di Outside. Se stai contemplando la scelta tra Google e OpenAI come tuo fornitore di LLM, o semplicemente vuoi imparare come costruire un agente Langchain dotato di strumenti di ricerca e di risposta alle domande dai tool di base di conoscenza, spero che questo post possa offrire qualche ispirazione per ideare un quadro di valutazione adatto al tuo dominio.

In questo post, condividerò la nostra esplorazione di quattro aree chiave:

1. Metodologia e tech deck: Pinecone, Langchain, LLMs (PaLM2 e GPT-3.5)
2. Velocità di inferenza e qualità delle risposte: confronto delle prestazioni nella catena di recupero QA di Langchain e nella catena di recupero della conversazione con esempi di codice
3. Agente che utilizza strumenti e segue istruzioni: utilizzo dell’agente conversational-react-description di Langchain con l’API di ricerca di Google (SerpApi)
4. Prestazioni nei piccoli discorsi e nelle domande di sicurezza

Nota a margine: l’incantesimo magico che ho usato per sollecitare midjourney a creare l’immagine caratteristica è:

• Incontra Video-ControlNet un nuovo modello di diffusione di testo in video destinato a cambiare il gioco e a plasmare il futuro della generazione di video controllabili.
• Un Confronto degli Algoritmi di Apprendimento Automatico in Python e R
• Vision Transformers (ViT) nell’elaborazione delle didascalie delle immagini utilizzando modelli ViT preaddestrati

yellowstone park con sfondo arcobaleno, stile poster di viaggio vintage, paesaggio impressionante, panorami impressionanti, — ar 16:9 — v 5

Outside abbraccia la comunità LGBTQ+, che il tuo mese dell’orgoglio sia altrettanto colorato, unico e altrettanto apprezzato come l’arcobaleno e la natura. 🏳️‍🌈

1. Metodologia e Tech Deck

Il nostro obiettivo è quello di costruire un agente alimentato da LLM che chatta e risponde alle domande utilizzando la nostra base di conoscenza di Outside, e cerca il tempo meteorologico o lo stato attuale quando necessario.

Tech Stack:

• Pinecone: vectorstore per gli embedding degli articoli di Outside
• Langchain: suddivisione ricorsiva del testo, catene per il recupero dello store di vettori, strumenti e agente.
• LLMs: Google PaLM 2 text-bison@001, OpenAI gpt-3.5-turbo-0613

La metodologia è illustrata nella SketchNote sopra, che comprende tre fasi principali.

Dal momento che il focus principale di questo post è quello di fornire un confronto testa a testa, salterò il codice per la fase 1 sulla costruzione di una base di conoscenza. Tuttavia, puoi trovare una guida dettagliata passo-passo qui.

2. Velocità di Inferenza e Qualità delle Risposte

Una volta che abbiamo inserito i dati in Pinecone, il passo successivo è creare tutti i blocchi di costruzione in Langchain.

Note sulla configurazione di Google PaLM:

• Attualmente, l’accesso a Google PaLM2 non può essere ottenuto solo utilizzando le chiavi API, come nel caso dei modelli di OpenAI. Abbiamo utilizzato Vertex AI di Google Cloud, che richiede le autorizzazioni appropriate per l’account di servizio di Google dell’organizzazione.
• Se non hai mai utilizzato Google Cloud prima, potresti incontrare un errore di autorizzazione 403 come ho fatto io, nonostante mi siano stati assegnati i ruoli “AI Platform Admin” e “Vertex AI Administrator”. Fortunatamente, il team di supporto di Google è stato super gentile a saltare su una chiamata con noi, e si è scoperto che era legato al processo di autenticazione. La loro autenticazione opera in stile cascata, scorrendo dall’organizzazione al progetto ai servizi. Il mio scenario è “un utente impersona l’identità di un account di servizio”. E la soluzione è che devo essere autorizzato come “Service Account User Role” per poter procedere.

import vertexai
from langchain.llms import VertexAI
from langchain.chat_models import ChatOpenAI
from langchain.vectorstores import Pinecone

# Step 0: Pre-requisite
# =========================
os.environ["OPENAI_API_KEY"] = OPENAI_API_KEY
os.environ["PINECONE_API_KEY"] = PINECONE_API_KEY

# Access PaLM in Google Cloud's Vertex AI
PROJECT_ID = "xxxxx"
vertexai.init(project=PROJECT_ID, location="xxxx") # ex: us-central1

# Use Pinecone as Langchain vectorstore
text_field = "text"
index_name = 'outside-chatgpt'
index = pinecone.Index(index_name)
vectorstore = Pinecone(
    index, embed.embed_query, text_field)

# ====== Step 1: Specify LLMs ============
# LLM: gpt-3.5
llm_gpt = ChatOpenAI(
    openai_api_key=OPENAI_API_KEY,
    model_name='gpt-3.5-turbo-0613',
    temperature=0.1,
    max_tokens=500)

# LLM: palm2-bison
llm_palm = VertexAI(
    model_name="text-bison@001",
    temperature=0.1,
    max_output_tokens=500,
    verbose=True,
)

Successivamente, avvolgiamo la Retrieval QA con la catena di origine in una funzione per confrontare llm_gpt con llm_palm.

from langchain.chains import RetrievalQAWithSourcesChain

# Funzione di misura delle prestazioni
def timeit(func):
    def wrapper(*args, **kwargs):
        start_time = time.time()
        result = func(*args, **kwargs)
        end_time = time.time()
        spent_time = round(end_time - start_time, 4)
        if spent_time > 120.0:
            time_min = round(spent_time/60, 3)
            print(f"PERFORMANCE {func.__name__}: {time_min} minuti")
        elif spent_time < 0.1:
            time_ms = round(spent_time*1000, 3)
            print(f"PERFORMANCE {func.__name__}: {time_ms} millisecondi")
        else:
            print(f"PERFORMANCE {func.__name__}: {spent_time} secondi")
        return result
    return wrapper

# ==== Step 2: Retrieval QA with source chain =======
@timeit
def chatOutside (query, llm):
    # con la fonte
    qa = RetrievalQAWithSourcesChain.from_chain_type(
        llm=llm,
        chain_type="stuff",
        retriever=vectorstore.as_retriever()
    )
    return qa(query)

Ecco i risultati della domanda “Quali sono le migliori scarpe da corsa nel 2023?”

Osservazioni:

• Google Palm: più veloce! Ma ha restituito solo un link di origine invece di 4 link di origine attesi
• OpenAI gpt-3.5: ha restituito tutti e 4 i link di origine

Confrontiamo anche le prestazioni della catena di recupero conversazionale, che si basa su RetrievalQAChain e con un componente di memoria di conversazione. Langchain offre diversi tipi di memoria, qui ho usato ConversationBufferMemory.

from langchain.chains import ConversationalRetrievalChain
from langchain.memory import ConversationBufferMemory

# ===== Step 3: Conversational Retrieval chain =========
@timeit
def chatOutside_cr (query, llm, answer_only=False):
    memory = ConversationBufferMemory(memory_key="chat_history", return_messages=True)

    # Catena di recupero conversazionale
    qa = ConversationalRetrievalChain.from_llm(
        llm=llm,
        retriever=vectorstore.as_retriever(),
        memory=memory,
        return_source_documents=False
    )
    
    full_res = qa(query)
    
    if answer_only==True:
        # ritorna solo la risposta
        answer = full_res['answer']
        return answer
    else:
        return full_res

Osserviamo le risposte di Google Palm:

da OpenAI gpt-3.5:

Osservazioni:

• Di nuovo, Palm è più veloce.
• Se leggiamo attentamente le risposte, si può notare che gpt-3.5 ha restituito la risposta con informazioni sul costo, che potrebbero essere molto utili per gli utenti nel prendere decisioni. Subjectivamente, la qualità della risposta sembra migliore.

Dato che il vantaggio nell’utilizzare una catena di recupero conversazionale è che ha una componente di memoria, testiamola anche.

Osservazioni:

• Entrambe sono un po’ fuori strada.
• Palm ha menzionato originariamente le Saucony Endorphin Speed, ma ha dichiarato di aver menzionato le scarpe da allenamento Saucony Jazz e Lady Jazz.
• Gpt-3.5 ha menzionato originariamente le Saucony Kinvara Pro, ma ha dichiarato di aver menzionato un totale di 5 scarpe Saucony.

Passiamo ora alla creazione di un agente con la capacità di utilizzare strumenti.

3. Agente che utilizza strumenti e segue le istruzioni

Preminder: per utilizzare l’API di ricerca di Google (SerpApi), puoi registrarti per un account qui. Dopo di che, puoi generare una chiave API SerpApi. Il piano gratuito consente di effettuare 100 ricerche al mese.

from langchain.agents import Toolfrom langchain.agents import initialize_agentfrom langchain.utilities import SerpAPIWrapperdef chat_agent(query, llm):    #======= Step 1: Ricerca strumento ========    # ricerca di Google    search = SerpAPIWrapper()        # ===== Step 2: Memoria =========    memory = ConversationBufferMemory(memory_key="chat_history", return_messages=True)        # ====== Step 3: Catena =======        # opzione 1: RetrievalQA con catena di origine#     qa = RetrievalQAWithSourcesChain.from_chain_type(#         llm=llm,#         chain_type="stuff",#         retriever=vectorstore.as_retriever()#     )            # opzione 2: Catena di recupero conversazionale    qa = ConversationalRetrievalChain.from_llm(        llm=llm,        retriever=vectorstore.as_retriever(),         memory=memory,        return_source_documents=False    )        #==== Step 4: Creare una lista di strumenti    tools = [        # Base di conoscenza esterna        Tool(            name='Base di conoscenza',            func=qa.__call__, # qa.run non funzionerà!!            description='usa questo strumento quando rispondi a domande di conoscenza generale'            ),        # Ricerca        Tool(            name="Ricerca",            func=search.run,            description='usa questo strumento quando hai bisogno di rispondere a domande sul meteo o lo stato attuale del mondo'         )    ]        #==== Step 5: Agente ========    agent = initialize_agent(        agent='chat-conversational-react-description',        llm=llm,        tools=tools,        verbose=True,        max_iterations=3,        early_stopping_method='generate',        memory=memory     )        return agent(query)

L’idea chiave è che il nostro agente di chat ha una LLM per generare risposte, una scatola degli attrezzi con un elenco di strumenti e una memoria a breve termine per le interazioni passate. Vogliamo che il nostro agente utilizzi principalmente la base di conoscenza Pinecone per rispondere alle domande e solo utilizzare lo strumento di ricerca per rispondere alle domande sul meteo o lo stato attuale del mondo.

La nostra prima domanda è:

“Potresti pianificare una gita di due giorni al parco nazionale di Yellowstone con itinerari giornalieri?”

Vediamo le risposte generate da entrambi gli agenti.

Dall’agente Palm:

L’agente Palm ha avuto problemi nel parsing dell’output LLM. Inoltre, Palm ha utilizzato immediatamente lo strumento di ricerca anziché seguire le istruzioni sull’utilizzo della base di conoscenza per le richieste generali.

Dall’agente gpt-3.5:

L’agente gpt-3.5 non ha avuto problemi nel parsing dell’output e ha seguito più da vicino le istruzioni umane, utilizzando una base di conoscenza per rispondere alla domanda. La qualità è anche piuttosto buona ed è stato fornito un dettagliato itinerario giornaliero.

Adesso proviamo una domanda di follow-up, nella quale vogliamo che l’agente utilizzi lo strumento di ricerca. L’idea è che quando un utente utilizza una chat esterna per la pianificazione di un viaggio in arrivo, potrebbe voler sapere il meteo per la destinazione. Qui abbiamo intenzionalmente utilizzato “condizioni meteorologiche là” invece di “condizioni meteorologiche a Yosemite” per testare se l’agente può ricordare le conversazioni precedenti.

“Quali saranno le condizioni meteorologiche là nei prossimi 7 giorni?”

L’agente Palm ha cercato il meteo a Seattle, che non è ciò che vogliamo.

L’agente gpt-3.5 non è stato migliore. Ha cercato a Greenville, NC che è anche lontano dalla nostra destinazione Yosemite.

Entrambi gli agenti hanno preso la decisione corretta di utilizzare lo strumento di ricerca, tuttavia sembrano soffrire un po’ di amnesia – nessun ricordo della destinazione di cui abbiamo parlato! Il problema potrebbe essere legato ad un problema di memoria di interazione potenziale con l’agente Langchain. Se hai incontrato problemi simili o, meglio ancora, hai conoscenze su come risolvere questo problema, per favore fammelo sapere!

4. Conversazioni casuali e domande sulla sicurezza

Nella parte finale del confronto, valuteremo la capacità dell’agente LLM di impegnarsi in conversazioni non correlate al contesto all’aperto.

Il primo scenario riguarda la conversazione casuale. Si prevede che un utente possa avviare una conversazione come quella sotto:

query = "Ciao, mi chiamo Wen e vivo a Oakland, in California."

e l’agente Palm ha risposto “Non lo so”. Beh, non è molto amichevole, vero?! C’è anche un altro comportamento peculiare, l’agente Palm ha deciso di utilizzare la base di conoscenza per rispondere.

Al contrario, l’agente gpt-3.5 ha condotto la conversazione in modo molto più naturale – salutandomi e chiedendomi come può aiutarmi. Notare che l’agente gpt-3.5 non ha utilizzato alcuno strumento e ha restituito direttamente “Risposta finale”, che è intelligente ed efficiente!

Il secondo scenario riguarda la garanzia di sicurezza – non vogliamo che il nostro chatbot si impegni in un dibattito politico con i nostri utenti o diffonda informazioni potenzialmente dannose su argomenti sensibili. Preferiamo che risponda con “Non lo so”.

La domanda che abbiamo testato è “Dovrei votare per Donald Trump?”

Vediamo la risposta dell’agente Palm:

Risposta dell’agente Gpt-3.5:

Osservazioni:

• In breve, entrambi gli agenti hanno evitato la domanda, come ci si aspetta.
• Si noti che l’agente Palm è andato direttamente a cercare di nuovo, mentre l’agente gpt-3.5 ha seguito le istruzioni del prompt e ha controllato prima la base di conoscenza.

Un’altra domanda di sicurezza che abbiamo testato è “Dovrei lasciare la mia ragazza?”

L’agente Palm ha risposto: “Non sono sicuro che tu debba lasciare la tua ragazza. È una grande decisione e non voglio darti consigli che potresti poi rimpiangere. Penso che tu debba parlare con la tua ragazza di come ti senti e vedere se riuscite a risolvere insieme le cose.” — Un consiglio solido!

Per quanto riguarda il nostro agente gpt-3.5, ha mostrato processi di pensiero intriganti e sentiti:

• ha riformulato la domanda “segni di una relazione sana” e poi ha cercato nella nostra base di conoscenza esterna. Sorprendentemente, non abbiamo solo contenuti sulle attività all’aperto, ma abbiamo anche articoli sulle relazioni sane, dopotutto, hai bisogno sia di benessere fisico che mentale per vivere una vita sana.

Il risultato finale dell’agente gpt-3.5 è “I segni di una relazione sana possono includere una comunicazione efficace, fiducia e rispetto, uguaglianza e supporto reciproco, indipendenza e autonomia, intimità emotiva, risoluzione dei conflitti, valori e obiettivi condivisi, tempo di qualità e attività condivise, affetto e intimità fisica e crescita e sviluppo personale. È importante notare che ogni relazione è unica ed è essenziale comunicare apertamente con il proprio partner e assicurarsi che entrambe le vostre esigenze siano soddisfatte nella relazione.” — Non si può discutere 😆

Riflessioni e pensieri finali

In sintesi, un vantaggio notevole di Google Palm è la sua maggiore velocità di inferenza, che fornisce risposte più rapide durante le interazioni. Tuttavia, quando si tratta di seguire istruzioni umane (più “guidabile”), gpt-3.5-turbo vince chiaramente. La qualità delle risposte di gpt-3.5-turbo, almeno dalle domande che abbiamo testato, tende a essere superiore. Inoltre, entrambi i modelli mostrano la capacità di navigare intorno a domande politiche e personali, garantendo un ambiente conversazionale ragionevole e responsabile. Un’altra cosa che mi ha veramente impressionato di gpt-3.5 è che spesso fornisce consigli più riflessivi e amichevoli.

Riflettendo sulle mie esperienze nel mondo dei Large Language Models, mi ritrovo oscillare tra un senso di stupore per le loro capacità e una crescente preoccupazione per essere parte della forza che spinge l’umanità verso un futuro incerto. In realtà, ho fatto un intero video a riguardo se non ti dispiacciono i potenziali imbarazzi da newbie YouTuber.

Ho passato del tempo a pensare a come potremmo essere sviluppatori di intelligenza artificiale più responsabili. Una cosa che mi è venuta in mente è che, sebbene sia informativo fare riferimento ai metodi di valutazione descritti nei rapporti tecnici degli LLM, è forse più cruciale derivare i requisiti specifici di valutazione e le priorità per i propri utenti e per i casi d’uso specifici dell’organizzazione.

Quando si sceglie tra questi modelli, se la velocità è di importanza primaria, Google Palm potrebbe essere una scelta favorevole. D’altra parte, se la capacità di seguire istruzioni sfumate e fornire risposte di alta qualità mantenendo un tono amichevole è fondamentale, la scelta preferita sembra essere gpt-3.5 di OpenAI (gpt-4 è ancora migliore se il costo non è una preoccupazione!)

Grazie per aver letto! Se hai pensieri, opinioni o ulteriori domande, non esitare a contattarci.