Questo articolo di intelligenza artificiale introduce il Metodo COVE un nuovo approccio di intelligenza artificiale per affrontare l’allucinazione nei modelli di linguaggio attraverso l’autoverifica.

Esplora il Metodo COVE un innovativo approccio di Intelligenza Artificiale per combattere l'allucinazione nei modelli di linguaggio attraverso l'autoverifica

Un ampio corpus di documenti di testo contenenti miliardi di token di testo viene utilizzato per addestrare modelli di linguaggio di grandi dimensioni (LLM). È stato dimostrato che le prestazioni nelle sfide come la QA a libro chiuso migliorano l’accuratezza all’aumentare del numero dei parametri del modello e i modelli più grandi possono produrre dichiarazioni di fatto più accurate. Anche i modelli più grandi, che appaiono relativamente raramente nel corpus di addestramento, possono fallire, soprattutto su fatti meno noti. Quando il modello è difettoso, producono una risposta alternativa che appare in generale realistica.

Oltre a prevedere solo le parole che verranno, l’ultima ondata di ricerca sui modelli di linguaggio si è concentrata su quanto bene siano in grado di ragionare. L’incoraggiamento dei modelli di linguaggio a costruire prima pensieri interni o catene di ragionamento prima di rispondere e a modificare la risposta originale attraverso l’autocritica può portare a una migliore performance nelle sfide di ragionamento.

Ricercatori di Meta AI & ETH Zurich indagano su come e quando il ragionamento basato su modelli di linguaggio possa essere applicato per attenuare le allucinazioni nel lavoro presentato qui. Creano un metodo noto come Chain-of-Verification (CoVe), in cui, dato un abbozzo di risposta iniziale, pianificano prima domande di verifica per valutarne l’efficacia e poi rispondono metodicamente a quelle domande per generare infine una risposta meglio corretta. Lo studio mostra che i fatti forniti dalle domande di verifica indipendenti sono generalmente più accurati di quelli nella risposta iniziale a lungo termine, aumentando l’accuratezza di tutta la risposta.

• API di accesso ai dati su tabelle Data Lake senza complessità
• E se potessimo spiegare facilmente modelli eccessivamente complessi?
• Analisi dei Social Network con NetworkX Un’introduzione delicata

Il team esplora variazioni di questa formula per diverse attività, tra cui interrogazioni basate su elenchi, QA a libro chiuso e la creazione di contenuti a lungo termine. Come alternativa al modello di linguaggio di base, forniscono prima un metodo combinato per la creazione di una catena di verifica completa da sinistra a destra, che migliora le prestazioni e riduce le allucinazioni. D’altra parte, i modelli che prestano attenzione alle allucinazioni attuali nel contesto delle loro generazioni spesso ripetono le allucinazioni.

I ricercatori introducono variazioni fattoriali per ottimizzare le fasi della catena di verifica in base alla situazione. I risultati dimostrano come queste variazioni fattoriali migliorino ulteriormente le prestazioni delle tre attività prese in considerazione.

Il team ha mostrato anche che impedire al modello di fare riferimento alle sue risposte precedenti durante la risposta alle domande di verifica (factored CoVe) riduce la probabilità di ripetere le stesse allucinazioni. Nel complesso, questo approccio offre significativi miglioramenti delle prestazioni rispetto alla risposta del modello di linguaggio originale semplicemente chiedendo allo stesso modello di riflettere sulla sua risposta. Dotare CoVe della capacità di applicare strumenti, come l’aggiunta di recupero nella fase di esecuzione della verifica, è un’estensione logica di questa ricerca che comporterebbe senza dubbio maggiori vantaggi.