Raggiungere un ragionamento strutturato con LLM in contesti caotici con il prompting del filo del pensiero e il recupero parallelo del grafo di conoscenza
Raggiungere un ragionamento strutturato nei contesti caotici con LLM utilizzando il prompting del filo del pensiero e il recupero parallelo del grafo di conoscenza
Grandi modelli linguistici (LLM) hanno dimostrato impressionanti capacità di apprendimento con poche istanze, adattandosi rapidamente a nuovi compiti con solo una manciata di esempi.
Perché RAG (Retrieval Augmented Generation) diventerà un pilastro del design di sistema usando LLM…
Recenti avanzamenti in grandi modelli linguistici (LLM) come GPT-3 [1] hanno dimostrato potenti capacità di apprendimento con poche istanze —…
ai.plainenglish.io
Tuttavia, nonostante i loro progressi, gli LLM affrontano ancora limitazioni nel ragionamento complesso che coinvolge contesti caotici sovraccarichi di fatti frammentari. Per affrontare questa sfida, i ricercatori hanno esplorato tecniche come il prompting a catena di pensiero che guidano i modelli ad analizzare incrementalmente le informazioni. Tuttavia, da sole, queste metodologie faticano a catturare completamente tutti i dettagli critici in vasti contesti.
- Ricercatori dell’Università di Vanderbilt e dell’Università della California, Davis introducono PRANC una struttura di apprendimento approfondito che è efficiente nella memoria sia durante le fasi di apprendimento che di ricostruzione.
- Palo Alto Networks introduce la piattaforma Cortex XSIAM 2.0 con una struttura unica Bring-Your-Own-Machine-Learning (BYOML).
- Ingegneria rapida per problemi di ragionamento aritmetico
Questo articolo propone una tecnica che combina il prompting a filo di pensiero con un framework Retrieval Augmented Generation (RAG) che accede a più grafi di conoscenza in parallelo. Mentre il filo di pensiero agisce come la “spina dorsale” del ragionamento che struttura il pensiero, il sistema RAG amplia la conoscenza disponibile per colmare le lacune. La ricerca parallela di informazioni diverse migliora l’efficienza e la copertura rispetto alla ricerca sequenziale. Insieme, questo framework mira a migliorare la comprensione e le capacità di risoluzione dei problemi degli LLM in contesti caotici, avvicinandosi alla cognizione umana.
Iniziamo delineando la necessità di un ragionamento strutturato in ambienti caotici in cui fatti rilevanti e non pertinenti si mescolano. Successivamente, introduciamo il design del sistema RAG e come amplia la conoscenza accessibile di un LLM. Spieghiamo poi l’integrazione del prompting a filo di pensiero per guidare metodicamente il LLM attraverso un’analisi graduale. Infine, discutiamo strategie di ottimizzazione come il recupero parallelo per interrogare efficacemente più fonti di conoscenza contemporaneamente.
Attraverso spiegazioni concettuali e campioni di codice Python, questo articolo illustra una tecnica innovativa per orchestrare le competenze di un LLM con conoscenze esterne complementari. Integrazioni creative come questa evidenziano direzioni promettenti per superare le limitazioni intrinseche del modello e avanzare nelle capacità di ragionamento dell’IA. L’approccio proposto mira a fornire un framework generalizzabile adatto a ulteriori miglioramenti mentre gli LLM e le basi di conoscenza si evolvono.
