Incontra RAP e LLM Reasoners Due Framework basati su concetti simili per un ragionamento avanzato con LLMs

Incontra RAP e LLM Reasoners, due framework per un ragionamento avanzato con LLMs.

Ogni giorno che passa porta progressi notevoli nei Large Language Models (LLM), portando a strumenti e avanzamenti innovativi. Questi LLM eccellono in varie attività, tra cui la generazione di testo, la classificazione del sentiment, la classificazione del testo e la classificazione zero-shot. Le loro capacità si estendono oltre queste aree, consentendo l’automazione della creazione di contenuti, del servizio clienti e dell’analisi dei dati, rivoluzionando così la produttività e l’efficienza.

Recentemente, i ricercatori hanno iniziato anche ad esplorare l’uso e l’utilità dei LLM per il ragionamento. Questi modelli sono in grado di comprendere informazioni testuali complesse e trarre inferenze logiche da esse. I LLM eccellono in attività come il question-answering, la risoluzione di problemi e la presa di decisioni. Tuttavia, i LLM non possono ancora lavorare come gli esseri umani che lottano con problemi che sarebbero facili per gli esseri umani, come ad esempio generare piani d’azione per eseguire compiti in un determinato ambiente o eseguire ragionamenti matematici, logici e di buon senso complessi. I LLM faticano con determinati compiti perché non hanno un modello di mondo interno come gli esseri umani. Ciò significa che non possono prevedere come saranno le cose in una determinata situazione o simulare gli esiti a lungo termine delle azioni. Gli esseri umani possiedono un modello di mondo interno, una rappresentazione mentale dell’ambiente, che consente agli esseri umani di simulare azioni e i loro effetti sullo stato del mondo per una pianificazione deliberata durante compiti complessi.

Per superare questi problemi, i ricercatori hanno ideato un nuovo framework di ragionamento, Reasoning via Planning (RAP). Questo framework utilizza una libreria che consente ai LLM di eseguire un ragionamento complesso utilizzando algoritmi di ragionamento avanzati. Questo framework affronta la metodologia di ragionamento a più passi come pianificazione e cerca la catena di ragionamento ottimale, che raggiunge il miglior equilibrio tra esplorazione e sfruttamento con l’idea di “World Model” e “Reward”. Oltre al paper su RAP, il team di ricerca propone anche LLM Reasoners. LLM Reasoners è una libreria di intelligenza artificiale progettata per dotare i modelli di linguaggio (LLM) della capacità di effettuare un ragionamento intricato attraverso algoritmi avanzati. Percepisce il ragionamento a più passi come pianificazione, cercando la catena di ragionamento più efficiente e ottimizzando l’equilibrio tra esplorazione e sfruttamento utilizzando i concetti di ‘World Model’ e ‘Reward’. Tutto ciò che devi fare è definire una funzione di reward e, facoltativamente, un modello di mondo. I LLM Reasoners si occupano del resto, comprendendo algoritmi di ragionamento, visualizzazione, invocazione di LLM e altro ancora!

• Sbloccare il potere dell’apprendimento a pochi scatti
• Keras 3.0 Tutto ciò che devi sapere
• L’AI e gli impianti cerebrali ripristinano il movimento e la sensazione per un uomo paralizzato

Un modello di mondo considera la soluzione parziale come stato e semplicemente aggiunge un’azione/pensiero nuovo allo stato come transizione di stato. La funzione di reward è fondamentale per valutare quanto bene si comporta un passaggio di ragionamento. L’idea è che una catena di ragionamento con un reward accumulato più alto sia più probabile che sia corretta.

I ricercatori hanno condotto ricerche approfondite su questo framework. Hanno applicato RAP a diversi problemi di ragionamento complessi su ragionamento matematico e inferenza logica. I risultati pratici di questi compiti mostrano che RAP supera diversi metodi di base molto solidi. Quando applicato a LLaMA33B, RAP supera CoT su GPT-4, ottenendo un impressionante miglioramento relativo del 33% nella generazione di piani.

Durante il processo di ragionamento, il LLM costruisce cleverly un albero di ragionamento valutando continuamente i migliori passaggi di ragionamento possibili (azioni). Per fare ciò, utilizza il suo modello di mondo, che è lo stesso LLM utilizzato in modo diverso. Simulando risultati futuri, il LLM stima ricompense potenziali e utilizza queste informazioni per aggiornare le sue convinzioni sui passaggi di ragionamento correnti. In questo modo, affina il suo ragionamento esplorando alternative migliori e migliorando le sue decisioni. Questo framework offre algoritmi di ragionamento all’avanguardia, fornisce una visualizzazione e interpretazione intuitiva ed è compatibile con qualsiasi altra libreria LLM.

I ricercatori sottolineano che, dopo aver condotto esperimenti approfonditi su vari problemi di ragionamento complessi, è stata conclusa la superiorità di RAP rispetto a diversi approcci di ragionamento basati su CoT contemporanei. Il framework ha addirittura ottenuto risultati migliori rispetto a GPT-4 avanzato in determinati contesti. La flessibilità di RAP nella progettazione di ricompense, stati e azioni mostra il suo potenziale come framework versatile per affrontare vari compiti di ragionamento. È affascinante vedere come RAP combini pianificazione e ragionamento in modo innovativo. Questo approccio può potenzialmente rivoluzionare il modo in cui affrontiamo il ragionamento dei LLM, aprendo la strada per sistemi di intelligenza artificiale in grado di raggiungere un livello di pensiero e pianificazione strategici simile a quello umano.