Ricercatori di Virginia Tech e Microsoft presentano l’Algoritmo dei Pensieri un approccio di intelligenza artificiale che migliora l’esplorazione delle idee e la capacità di ragionamento nei modelli di linguaggio estesi (LLM).

Virginia Tech and Microsoft researchers present the Thought Algorithm, an AI approach that enhances idea exploration and reasoning capabilities in extended language models (LLM).

Gli ampi modelli di linguaggio (LLM) hanno recentemente fatto progressi e ciò ha aumentato la consapevolezza della loro utilità per una varietà di attività di problem solving. Questi modelli hanno dimostrato le loro capacità in una serie di contesti di problem solving, inclusa la generazione di codice, il seguire istruzioni e il problem solving generale. La ricerca contemporanea si è orientata verso approcci più sofisticati, tra cui percorsi di ragionamento lineari, a differenza dei primi modelli che utilizzavano strategie di risposta diretta. Nei metodi più recenti, le questioni complesse sono state suddivise in compiti più piccoli per facilitare la ricerca sistematica di soluzioni. Inoltre, processi esterni vengono incorporati per modificare la creazione di token attraverso la modifica del contesto.

Il corpo attuale della ricerca utilizza tipicamente un meccanismo operativo esterno che interrompe, modifica e poi riprende il processo di generazione nel tentativo di superare la metodologia corrente di concatenazione del pensiero. Ciò viene fatto per migliorare la capacità di ragionamento degli LLM, ma comporta lo svantaggio di generare più richieste di query e di conseguenza maggiori spese, maggiori requisiti di memoria e maggiori oneri computazionali.

Per superare le sfide, un team di ricercatori di Virginia Tech Microsoft ha introdotto un approccio unico chiamato Algoritmo dei Pensieri. Con questa strategia, gli LLM vengono spinti lungo percorsi di ragionamento algoritmico, creando efficacemente un nuovo modo di apprendere all’interno di un contesto. Le dinamiche ricorrenti intrinseche negli LLM sono state utilizzate con l’aiuto di esempi algoritmici e ciò ha permesso l’ampliamento dell’esplorazione dei concetti richiedendo solo un numero limitato di query.

Il principale obiettivo di AoT è insegnare agli LLM attraverso esempi di algoritmi che incarnano perfettamente lo spirito dell’esplorazione. La tecnica riduce il numero di query richieste mentre amplia lo studio dei concetti degli LLM. AoT supera le vecchie tecniche a singola query ed è competitivo con le tattiche contemporanee a più query che utilizzano algoritmi di ricerca ad albero sofisticati.

Questo metodo può superare le tecniche più vecchie che utilizzano solo una query, rendendo questo approccio unico. Inoltre, le prestazioni di questo approccio sono paragonabili a quelle di un recente metodo a più query che utilizza un algoritmo di ricerca ad albero sofisticato. I risultati implicano che un LLM può potenzialmente superare l’algoritmo quando viene addestrato utilizzando il metodo. Questa scoperta suggerisce che gli LLM hanno la capacità innata di incorporare la loro intuizione in procedure di ricerca migliorate.

In conclusione, i casi d’uso per AoT sono estesi. AoT ha la capacità di cambiare completamente il modo in cui gli LLM affrontano le questioni di ragionamento, dal problem solving generale alle difficoltà di programmazione complicate. L’inclusione di percorsi algoritmici consente agli LLM di prendere in considerazione diverse soluzioni, modellare tecniche di backtracking e valutare il potenziale di vari sottoproblemi. AoT offre un nuovo paradigma per l’apprendimento in contesto, colmando il divario tra gli LLM e il pensiero algoritmico.