Esplorazione dell’Albero del Pensiero Come l’AI può imparare a ragionare attraverso la ricerca

Esplorazione dell'Albero del Pensiero l'AI e la ragione attraverso la ricerca

 

Punti chiave

 

• Un nuovo articolo propone un framework “Albero dei Pensieri” per consentire una soluzione dei problemi più deliberata
• Rappresenta il processo di ragionamento come una ricerca in un albero di “pensieri” possibili
• Utilizza il LLM stesso per generare e valutare questi pensieri
• Utilizza algoritmi di ricerca classici per guidare l’esplorazione

 

• xAI di Elon Musk si confronta con ChatGPT di OpenAI
• Machine Learning a Effetti Misti per Variabili Categoriche ad Alta Cardinalità – Parte II Libreria GPBoost
• Rendere i curriculum più intelligenti strumenti basati su intelligenza artificiale per la tua ricerca di lavoro

Introduzione

 

Recentemente, i grandi modelli di linguaggio (LLM) come GPT-3 hanno mostrato impressionanti capacità in aree come il ragionamento matematico e la conoscenza del buonsenso. Tuttavia, il loro metodo di generazione di testo di base – da sinistra a destra, token per token – può limitare la pianificazione strategica e l’esplorazione. L’articolo mostra che questo approccio migliora significativamente le capacità di risolvere problemi del LLM su sfide come i rompicapo matematici e la scrittura creativa.

 

Discussione

 

Un recente articolo, Tree of Thoughts: Deliberate Problem Solving with Large Language Models – di Shunyu Yao, Dian Yu, Jeffrey Zhao, Izhak Shafran, Thomas L. Griffiths, Yuan Cao, Karthik Narasimhan – propone un nuovo framework chiamato “Tree of Thoughts” (ToT) per migliorare le capacità di risolvere problemi dei grandi modelli di linguaggio (LLM) come GPT-3 e GPT-4. Attualmente, i LLM sono limitati a decisioni di livello di token da sinistra a destra durante la generazione di testo, il che può risultare limitante per compiti che richiedono una pianificazione strategica e un’esplorazione più approfondita.

ToT rappresenta il processo di risoluzione dei problemi come una ricerca in un albero, in cui ogni nodo è un “pensiero” – un frammento coerente di testo che rappresenta un passaggio intermedio di ragionamento. Ciò consente al LLM di esplorare percorsi di ragionamento multipli e valutare il progresso dei diversi pensieri verso la soluzione del problema. In particolare, il framework prevede:

1. Scomporre il problema in passaggi di pensiero coerenti in base alla struttura del compito.
2. Utilizzare il LLM per generare più candidati di pensiero ad ogni passaggio, in modo indipendente o sequenziale in base ai pensieri precedenti.
3. Ottenere che il LLM valuti la promessa di diversi stati (soluzioni parziali) attraverso suggerimenti di valutazione del valore che valutano il progresso finora.
4. Utilizzare algoritmi di ricerca classici come la ricerca in ampiezza o la ricerca in profondità sull’albero, utilizzando le stime del valore del LLM per guidare l’esplorazione e la potatura.

Questa ricerca deliberata consente al LLM di guardare avanti, tornare indietro e prendere decisioni più globali quando necessario. Il framework modulare è indipendente dal modello e può adattare in modo flessibile i suoi componenti come dimensione del pensiero, generazione, valutazione e ricerca alla struttura del problema.

Gli autori dimostrano ToT su tre nuovi compiti – Game of 24, Creative Writing e Mini Crosswords. In tutti i casi, ToT migliora significativamente le prestazioni di risoluzione dei problemi di GPT-4 rispetto alle basi di confronto standard. Ad esempio, in Game of 24 il tasso di successo è aumentato dal 4% con l’utilizzo di suggerimenti basati su catene di pensiero al 74% con ToT.

In generale, ToT offre un modo per integrare la pianificazione simbolica e i metodi di ricerca dell’IA classica con i moderni LLM. L’interpretabilità dei suoi pensieri basati sul linguaggio e la deliberazione offrono anche opportunità per una migliore allineamento umano. Gli autori lo propongono come una direzione nuova ed entusiasmante per sviluppare capacità di risoluzione dei problemi più generali nei LLM.

 

Domande e risposte sulla ricerca

  Come si confronta l’approccio Tree of Thoughts con altri metodi che incorporano la pianificazione simbolica o la ricerca con modelli neurali, come la decodifica NeuroLogic o il framework LLM+P?

Il framework ToT differisce nel fatto che utilizza il LLM stesso per fornire una guida euristica durante la ricerca, anziché fare affidamento su un pianificatore classico separato (LLM+P) o euristiche codificate (NeuroLogic). La rappresentazione del pensiero basata sul linguaggio è anche più flessibile rispetto ai linguaggi di pianificazione simbolica. Tuttavia, ToT non raggiunge ancora il livello di integrazione stretta e la comunicazione bidirezionale tra i componenti LLM e pianificatore che LLM+P dimostra.

  L’approccio Tree of Thoughts potrebbe essere applicato a compiti di linguaggio naturale come il dialogo conversazionale o la generazione di storie, oltre che a compiti di ragionamento limitati?

Anche se l’articolo attuale si concentra su compiti di ragionamento, il framework generale di rappresentare possibili continuazioni come pensieri che possono essere deliberati sembra applicabile a problemi di generazione meno limitati. Per il dialogo, i pensieri potrebbero essere le frasi candidato da dire successivamente, mentre per le storie potrebbero essere i punti della trama o le azioni dei personaggi. Le sfide principali sarebbero definire passaggi di pensiero coerenti e sviluppare suggerimenti di valutazione efficaci.

  Cosa c’è di innovativo in questa ricerca?

La chiave dell’innovazione è rappresentare l’inferenza del modello linguistico come una ricerca su un albero di pensieri anziché solo una generazione di token da sinistra a destra. Ciò consente una pianificazione più deliberata, l’esplorazione di alternative e un’anticipazione/retrocesso globale. La rappresentazione dei pensieri come unità semantiche coerenti è anche innovativa rispetto ai metodi di ricerca precedenti.

  Quali sono le implicazioni più ampie di questa ricerca?

Questa ricerca potrebbe migliorare significativamente le capacità di problem solving e ragionamento dei Modelli Linguistici a Grandezza Linguistica (LLM), consentendo il loro utilizzo in applicazioni del mondo reale più complesse come programmazione, analisi dei dati, robotica, ecc. Inoltre, rende le decisioni del modello più interpretabili. L’integrazione di metodi di ricerca classici con modelli neurali è una direzione eccitante.

  Quali sono eventuali problemi o lacune di questa ricerca come presentata?

Le attività esplorate sono ancora relativamente semplici. Resta da vedere se l’approccio si adatta a problemi più aperti. Il processo di ricerca probabilmente comporta costi di elaborazione più elevati rispetto al campionamento standard. Le euristiche per la potatura dei rami subottimali sono attualmente imperfette.

  Quali sono i prossimi passi logici della ricerca successivi a questa ricerca?

I prossimi passi importanti includono l’esplorazione di ToT su attività di pianificazione e decision making più complesse, l’integrazione con il recupero di conoscenze esterne e lo studio di varianti che possono essere apprese in modo più efficiente in termini di campioni mediante meta-apprendimento o apprendimento per rinforzo, anziché basarsi esclusivamente su un LLM pre-addestrato. L’analisi dell’interazione tra dimensione del pensiero, budget di ricerca e prestazioni è anche una domanda aperta.

 

Concetti chiave

 

• Il paradigma dell’Albero dei Pensieri dimostra come le tecniche di ricerca classiche possano essere integrate con i moderni modelli di rete neurale.
• Permettere ai LLM di esplorare percorsi di ragionamento alternativi rende le loro decisioni più interpretabili.
• Questa direzione di ricerca potrebbe migliorare l’applicabilità dei LLM a complessi compiti di pianificazione e analisi del mondo reale.
• I prossimi passi fondamentali sono l’estensione dell’approccio a problemi meno vincolati, il miglioramento dell’efficienza della ricerca e lo studio di come tali abilità possano essere apprese.
• In generale, il ragionamento deliberato e semantico dell’Albero dei Pensieri offre una nuova e interessante capacità per gli agenti artificiali.

    Matthew Mayo (@mattmayo13) è un Data Scientist e l’Editore-in-Chief di VoAGI, la principale risorsa online di Data Science e Machine Learning. I suoi interessi sono nell’elaborazione del linguaggio naturale, nella progettazione e ottimizzazione degli algoritmi, nell’apprendimento non supervisionato, nelle reti neurali e negli approcci automatizzati all’apprendimento automatico. Matthew possiede una laurea magistrale in informatica e un diploma di specializzazione in data mining. È possibile contattarlo all’indirizzo editor1 at VoAGI[dot]com.