Ricercatori di Meta AI presentano un nuovo modello di intelligenza artificiale per criticare le generazioni di grandi modelli di linguaggio.

I ricercatori di Meta AI presentano un nuovo modello di intelligenza artificiale per criticare i grandi modelli di linguaggio.

I had trouble accessing your link so I’m going to try to continue without it.

La capacità dei grandi modelli di linguaggio (LLM) di generare testo coerente, rilevante dal punto di vista contestuale e semanticamente significativo è diventata sempre più complessa. Nonostante questi progressi, i LLM forniscono frequentemente risultati inaccurati, dubbi e senza senso. Pertanto, sarebbero utili tecniche che valutino e migliorino continuamente le generazioni per ottenere modelli di linguaggio più affidabili. I risultati dei modelli di linguaggio sono stati migliorati con l’aiuto dei LLM. Tra i lavori attuali, alcuni addestrano funzioni di utilità per fornire un feedback in linguaggio naturale su compiti di dialogo orientati all’informazione. Al contrario, altri utilizzano istruzioni per creare un punteggio di valutazione multi-aspetto del testo generato dal modello in vari domini.

Sebbene la ricerca originale non abbia offerto un feedback sulla produzione di output del modello su compiti complessi come matematica e ragionamento, fornendo solo un feedback generale sulla risposta dell’output, un lavoro più recente di ricercatori sintonizza un LLM per creare un feedback su misura sulle sue risposte. In questo studio, i ricercatori di Meta AI Research presentano Shepherd, un modello di linguaggio specificamente ottimizzato per valutare gli output prodotti dai modelli. Il loro obiettivo è sviluppare un modello di critica solido che possa offrire commenti in molti campi, ma con un obiettivo simile a quello dei lavori precedenti. Il loro approccio può identificare problemi specifici, tra cui la factualità, le incongruenze logiche, la coerenza e l’allineamento, suggerendo anche modifiche quando richiesto per migliorare il risultato.

• Accesso ai tuoi dati personali
• Pensi che sia rischioso allenare il tuo modello di linguaggio su dati limitati? Incontra SILO un nuovo modello di linguaggio che gestisce il compromesso tra rischio e prestazioni durante l’elaborazione dei dati.
• Demistificazione del Deep Learning Introduzione di uno studente alle Reti Neurali

Più precisamente, Shepherd può fornire un feedback in linguaggio naturale che include una conoscenza approfondita dell’argomento, suggerimenti concreti per il miglioramento e giudizi e raccomandazioni ampi. Hanno sviluppato un dataset di feedback di alta qualità di due set unici per migliorare Shepherd e valutarlo: (1) feedback della comunità, selezionato da forum online per catturare interazioni più varie, e (2) input annotati dall’umano, raccolti su generazioni in molti compiti. Vedi le illustrazioni nella Tabella 1. Shepherd ha prestazioni eccezionali dopo essere stato addestrato su una combinazione di questi dataset, superando i modelli ChatGPT su diversi compiti successivi. I dati della comunità sono più utili e diversificati rispetto ai dati annotati dall’umano. Tuttavia, secondo un’analisi approfondita degli effetti del feedback della comunità e dei dati di feedback annotati dall’umano, tende ad essere più informale.

Shepherd può fornire feedback su vari compiti grazie a queste sottili differenze, e scoprono che l’utilizzo di dati umani annotati di alta qualità per ottimizzare i modelli migliora le prestazioni del modello. Confrontano il feedback prodotto da Shepherd con baselines all’avanguardia come Alpaca, SelFee e ChatGPT e fanno una valutazione basata sul modello e umana. Scoprono che le critiche di Shepherd sono spesso preferite rispetto a quelle degli altri modelli. Ad esempio, Alpaca tende a elogiare ogni risposta del modello, producendo un feedback molto inaccurato. SelFee spesso ignora le risposte del modello o risponde immediatamente alla query anziché fornire un feedback che potrebbe identificare errori.

Scoprono che ChatGPT è più coerente in diverse circostanze di valutazione e si comporta meglio nel fornire commenti con giudizio accurato. In conclusione, hanno creato Shepherd, un nuovo modello che può offrire critiche approfondite su qualsiasi contenuto generato da LLM, migliorandone efficacemente la qualità. Mostrano l’efficacia di Shepherd in una serie di compiti di generazione analizzando attentamente le lamentele generate. La creazione di un dataset di feedback di alta qualità, che potrebbe aiutare future ricerche in questo campo, è un’altra importante aggiunta al loro lavoro.