Sbloccare generazioni affidabili attraverso una catena di verifica un enorme progresso nell’ingegneria immediata

Sborrare generazioni affidabili tramite una cascata di validazione un enorme progresso nell'ingegneria istantanea

Punto chiave

• Il metodo di ingegneria prompt Chain-of-Thought (CoVe) è progettato per mitigare le allucinazioni nei LLM, affrontando la generazione di informazioni fattuali plausibili ma errate
• Attraverso un processo a quattro fasi, CoVe consente ai LLM di elaborare, verificare e perfezionare le risposte, promuovendo un meccanismo di autosicurezza che migliora l’accuratezza, la Verifica Strutturata del Sè
• CoVe ha dimostrato una migliore performance in varie attività come domande basate su elenchi e generazione di testi a lunga forma, dimostrando il suo potenziale nel ridurre le allucinazioni e rafforzare la correttezza del testo generato da AI

Studiamo la capacità dei modelli di linguaggio di riflettere sulle risposte che danno al fine di correggere i propri errori.

Introduzione

• Ricercatori di Stanford e Microsoft presentano un’intelligenza artificiale auto-migliorante sfruttando GPT-4 per migliorare le prestazioni dei programmi di andamento delle costruzioni.
• Rivoluzionare la tecnologia indossabile l’algoritmo di frequenza cardiaca ultradefinitivo di Edge Impulse e l’espansione della suite sanitaria
• Rami sono tutto ciò che ti serve Il nostro audace framework di versionamento ML

La continua ricerca di accuratezza e affidabilità nel campo dell’Intelligenza Artificiale (AI) ha portato a tecniche innovative nell’ingegneria prompt. Queste tecniche svolgono un ruolo cruciale nella guida dei modelli generativi per fornire risposte precise e significative a una miriade di domande. Il recente advento del metodo Chain-of-Verification (CoVe) segna una tappa significativa in questa ricerca. Questa tecnica innovativa mira ad affrontare una nota problematica nei grandi modelli di linguaggio (LLM): la generazione di informazioni fattuali plausibili ma errate, conosciute anche come allucinazioni. Abilitando i modelli a riflettere sulle risposte e a sottoporsi a un processo di autosicurezza, CoVe stabilisce un precedente promettente per migliorare l’affidabilità del testo generato.

L’ecosistema in continua crescita dei LLM, con la loro capacità di elaborare e generare testo basato su un vasto corpus di documenti, ha dimostrato una notevole competenza in vari compiti. Tuttavia, rimane una preoccupazione persistente: la tendenza a generare informazioni allucinate, specialmente su argomenti poco conosciuti o rari. Il metodo Chain-of-Verification emerge come un faro di speranza in mezzo a queste sfide, offrendo un approccio strutturato per minimizzare le allucinazioni e migliorare l’accuratezza delle risposte generate.

Comprendere Chain-of-Verification

CoVe si sviluppa su un meccanismo a quattro fasi per mitigare le allucinazioni nei LLM:

• Elaborare una risposta iniziale
• Pianificazione di domande di verifica per verificare i fatti della bozza
• Rispondere a quelle domande in modo indipendente per evitare distorsioni
• Generare una risposta finale verificata basata sulle risposte

Questo approccio sistematico affronta non solo la problematica delle allucinazioni, ma incorpora anche un processo di autosicurezza che eleva la correttezza del testo generato. L’efficacia del metodo è stata dimostrata in vari compiti, inclusi domande basate su elenchi, domande a libro chiuso e generazione di testi a lunga forma, mostrando una diminuzione delle allucinazioni e un miglioramento delle prestazioni.

Implementare Chain-of-Verification

L’adozione di CoVe comporta l’integrazione del suo processo a quattro fasi nel flusso di lavoro dei LLM. Ad esempio, quando si tratta di generare un elenco di eventi storici, un LLM che utilizza CoVe elaborerà inizialmente una risposta, pianificherà domande di verifica per verificare ogni evento, risponderà a quelle domande in modo indipendente e infine genererà un elenco verificato in base alle risposte ricevute.

Il rigoroso processo di verifica intrinseco a CoVe garantisce un grado più elevato di accuratezza e affidabilità nelle risposte generate. Questo approccio disciplinato alla verifica non solo arricchisce la qualità delle informazioni, ma favorisce anche una cultura di responsabilità nel processo di generazione di AI, segnando un significativo passo avanti nella realizzazione di un testo generato da AI più affidabile.

Esempio 1

• Domanda: Elencare le invenzioni notevoli del XX secolo.
• Bozza iniziale: Internet, Meccanica Quantistica, Scoperta della Struttura del DNA
• Domande di Verifica: È stato inventato Internet nel XX secolo? È stata sviluppata la Meccanica Quantistica nel XX secolo? La struttura del DNA è stata scoperta nel XX secolo?
• Risposta Verificata Finale: Internet, Scoperta della Penicillina, Scoperta della Struttura del DNA

Esempio 2

• Domanda: Fornire un elenco dei paesi in Africa.
• Bozza iniziale: Nigeria, Etiopia, Egitto, Sud Africa, Sudan
• Domande di Verifica: La Nigeria è in Africa? L’Etiopia è in Africa? L’Egitto è in Africa? Il Sud Africa è in Africa? Il Sudan è in Africa?
• Risposta Verificata Finale: Nigeria, Etiopia, Egitto, Sud Africa, Sudan

Adottare CoVe comporta l’integrazione del suo processo a quattro fasi nel flusso di lavoro degli LLM. Ad esempio, quando viene incaricato di generare un elenco di eventi storici, un LLM che utilizza CoVe stenderebbe inizialmente una risposta, pianificare le domande di verifica per verificare ogni evento, rispondere a tali domande in modo indipendente e infine generare un elenco verificato basato sulla validazione ricevuta.

 

La metodologia richiederebbe esempi in contesto insieme alla domanda per porre all’LLM, oppure un LLM potrebbe essere ottimizzato sui casi di esempio di CoVe al fine di affrontare ogni domanda in questo modo, se lo si desidera.

Conclusione

L’avvento del metodo Chain-of-Verification è una testimonianza dei progressi compiuti nell’ingegneria delle tracce verso il raggiungimento di un testo generato dall’IA affidabile e accurato. Affrontando direttamente il problema delle allucinazioni, CoVe offre una soluzione robusta che migliora la qualità delle informazioni generate dagli LLM. L’approccio strutturato del metodo, unito al suo meccanismo di autoverifica, rappresenta un importante passo avanti verso la promozione di un processo di generazione dell’IA più affidabile e basato sui fatti.

L’implementazione di CoVe è un appello per i professionisti e i ricercatori a continuare a esplorare e perfezionare le tecniche di ingegneria delle tracce. Abbracciare metodi innovativi sarà fondamentale per sbloccare il pieno potenziale dei modelli di linguaggio estesi, promettendo un futuro in cui l’affidabilità del testo generato dall’IA non sia solo un’aspirazione, ma una realtà.

****[Matthew Mayo](https://www.kdnuggets.com/wp-content/uploads/./profile-pic.jpg)**** (@mattmayo13) ha una laurea magistrale in informatica e un diploma di laurea in data mining. Come Editore Capo di VoAGI, Matthew si impegna a rendere accessibili concetti complessi di scienza dei dati. I suoi interessi professionali comprendono l’elaborazione del linguaggio naturale, gli algoritmi di apprendimento automatico e l’esplorazione dell’IA emergente. È guidato da una missione per democratizzare la conoscenza nella comunità della scienza dei dati. Matthew ha programmato fin da quando aveva 6 anni.