Pensa in questo modo e rispondimi Questo approccio di intelligenza artificiale utilizza l’incitazione attiva per guidare i grandi modelli di linguaggio

Pensa e rispondimi. Questo approccio di IA utilizza l'incitazione attiva per guidare grandi modelli di linguaggio.

Tutti ci siamo familiarizzati con i grandi modelli di linguaggio (LLM) negli ultimi mesi con l’introduzione di ChatGPT, ed è rapidamente diventato uno strumento essenziale nella nostra vita quotidiana. Gli LLM sono utili nel recupero delle informazioni, nell’assistenza alla chat, nell’assistenza alla scrittura, ecc.

In generale, gli LLM hanno forti capacità di ragionamento, il che significa che possono utilizzare il ragionamento logico o la deduzione per arrivare a una soluzione basata sulle informazioni fornite. Possono fare inferenze, trarre conclusioni e collegare logicamente pezzi di informazioni. Ad esempio, possono rispondere a domande come “Supponiamo di avere una serie di numeri: 2, 4, 6, 8, 10, … Qual è il prossimo numero nella sequenza?”

I compiti di ragionamento sono considerati più sfidanti rispetto ai compiti di comprensione del linguaggio più semplici, in quanto richiedono un livello più elevato di comprensione e capacità di ragionamento. Gli LLM sono bravi in questo, ma le cose cambiano quando chiediamo loro di svolgere compiti di ragionamento complessi.

• Un nuovo modello di apprendimento automatico accelera la valutazione dei catalizzatori per la decarbonizzazione da mesi a millisecondi
• Uno studio scopre che ChatGPT aumenta la produttività dei lavoratori per alcune attività di scrittura
• Affinamento dei modelli di diffusione stabili su CPU Intel

Un modo semplice per guidare gli LLM è l’apprendimento in contesto. Qui, prima di inviare la tua richiesta principale, fornisci a LLM un insieme di domande-risposte di esempio in modo che possa imparare ciò che vuoi veramente chiedere. Ad esempio, puoi modificare il prompt da “Supponiamo di avere una serie di numeri: 2, 4, 6, 8, 10, … Qual è il prossimo numero nella sequenza?” a “D: Supponiamo di avere una serie di numeri: 2, 4, 6, 8, 10, … Qual è il prossimo numero nella sequenza? R: È 12 perché ogni numero aumenta di due. D: Supponiamo di avere una serie di numeri: 3, 7, 11, … Qual è il prossimo numero nella sequenza?” In questo modo, LLM può vedere la catena di pensiero (CoT) e adattarsi di conseguenza.

È stato dimostrato che l’utilizzo della CoT migliora le capacità di ragionamento degli LLM. Tuttavia, la scelta delle domande informative e l’annotazione delle stesse con CoT e risposte dipendono dall’ingegneria umana. Come puoi immaginare, la catena domanda-risposta che fornisci è di estrema importanza.

A causa della considerevole diversità nella difficoltà, nell’ambito e nel dominio dei compiti di ragionamento, non è certo quale tipo di domanda debba essere prioritizzato per l’annotazione. Inoltre, non è chiaro se un gruppo specifico di esempi sia il più efficace per ottenere le informazioni desiderate. D’altra parte, se potessimo determinare le domande importanti, l’annotazione sarebbe un compito piuttosto semplice. La domanda è come scegliere le domande.

Qui entra in gioco il Active Prompting. Propone una soluzione a questo problema sfruttando l’incertezza e introducendo alcuni sforzi umani per annotare un piccolo insieme di domande.

Il metodo proposto introduce innanzitutto diversi parametri per caratterizzare l’incertezza tra le previsioni degli LLM. Questi parametri di incertezza vengono quindi utilizzati per classificare le domande più incerte e selezionare tali domande per l’annotazione. Successivamente, vengono generate risposte di esempio utilizzando un approccio CoT di poche riprese o di zero riprese.

Vengono utilizzati quattro approcci distinti per stimare l’incertezza: disaccordo, entropia, varianza e autostima. Ciascuna di queste strategie offre una prospettiva unica sulla natura dell’incertezza, ma l’attenzione principale è rivolta all’utilizzo dei metodi del disaccordo e dell’entropia. Il disaccordo calcola le risposte uniche nelle previsioni. D’altra parte, un’entropia più alta indica maggiore incertezza, mentre un’entropia più bassa indica minore incertezza. Di conseguenza, per quanto riguarda il ragionamento intricato, le domande con un’entropia relativamente alta sono più probabili che vengano considerate come possibili opzioni.

La soluzione proposta viene valutata su diversi compiti di ragionamento e i risultati mostrano che supera i metodi di base in termini di accuratezza ed efficienza. L’articolo fornisce anche un’analisi dei parametri di incertezza e mostra come possono essere utilizzati per migliorare le prestazioni del modello.

In conclusione, l’active prompting è una soluzione al problema di determinare quali domande siano le più importanti e utili per l’annotazione nella CoT. Sfrutta l’incertezza ed è progettato per ridurre al minimo gli sforzi umani per annotare un insieme di domande. I risultati mostrano che la soluzione proposta supera i metodi di base e può essere utilizzata per migliorare le prestazioni degli LLM nei compiti di ragionamento.