Eleuther AI Research Group dimostra come la guida senza classificatori (CFG) possa essere utilizzata con LLMs

Eleuther AI dimostra l'utilizzo di CFG con LLMs.

Recentemente, enormi modelli di lingua hanno mostrato impressionanti capacità generative, permettendo loro di gestire una vasta gamma di problemi. Tipicamente, si utilizza il “prompting” per condizionare la generazione, sia con istruzioni e contesto del compito o con un piccolo numero di esempi. Tuttavia, sono stati osservati problemi, tra cui allucinazioni, deterioramento e deviazione, nella generazione del linguaggio, specialmente con modelli più piccoli. Sono state proposte diverse soluzioni, tra cui il fine-tuning delle istruzioni e l’apprendimento per rinforzo, per affrontare questo problema. A causa delle elevate esigenze di calcolo e dati, non tutti gli utenti saranno in grado di beneficiare di questi metodi.

Un gruppo di ricerca presso EleutherAI suggerisce un approccio di inferenza che attribuisce maggior peso all’intento dichiarato dell’utente sotto forma di prompt. Il loro recente studio propone di migliorare la coerenza generativa dando maggiore peso al prompt durante l’inferenza.

Studi hanno dimostrato che gli stessi problemi esistono nella generazione di testo-immagine. Quando si tratta di stimoli insoliti o specializzati, i metodi di inferenza standard possono trascurare importanti dettagli del condizionamento. Si è suggerito che l’impiego di un classificatore separato per favorire le qualità desiderate nell’immagine di output migliorerà la qualità generativa dei modelli di diffusione. Successivamente è stato sviluppato il Classifier-Free Guidance (CFG), che elimina del tutto il classificatore e utilizza invece il modello generativo come classificatore implicito.

• Ricercatori dell’Università di Binghamton introducono un sistema di anonimizzazione che aumenta la privacy (Il mio volto, la mia scelta) per permettere a tutti di avere il controllo sul proprio volto nei social network di condivisione foto.
• Ricercatori del CMU introducono FROMAGe un modello di intelligenza artificiale che avvia in modo efficiente grandi modelli di linguaggio congelati (LLM) per generare testo libero integrato con immagini.
• OpenAI’s ChatGPT App introduce la funzione di navigazione con l’integrazione di Bing.

Prendendo spunto dal suo successo nella generazione di testo-immagine, i ricercatori modificano CFG per l’utilizzo nella creazione di testo unimodale al fine di migliorare l’adattamento del modello all’input. Dimostrano che, nella generazione di testo, CFG può essere utilizzato così com’è, mentre i modelli di testo-immagine (che utilizzano prevalentemente modelli di diffusione) devono essere addestrati con dropout di condizionamento per utilizzare CFG. Lo studio mostra come CFG possa essere utilizzato per migliorare l’allineamento tra una varietà di metodi di prompting, dai prompt semplici e occasionali ai prompt di stile chatbot e tutto ciò che si trova in mezzo.

Sviluppano una metodologia per l’applicazione di CFG alla modellazione del linguaggio e dimostrano guadagni significativi su una serie di benchmark standard del settore. I prompt di base, i prompt concatenati, i prompt di testo lungo e i prompt di stile chatbot sono tutti presi in considerazione da questi benchmark. In particolare, LLaMA-7B supera PaLM-540B e consente al metodo di diventare SOTA su LAMBADA.

C’è una crescente collezione di approcci di inferenza che cercano di modificare le distribuzioni dei logit di un LM, e questo lavoro si inserisce perfettamente tra di essi. I risultati mostrano che il doppio FLOP di inferenza di CFG porta le prestazioni di un modello a circa il doppio delle sue dimensioni. Questo apre la strada all’addestramento di modelli meno complessi e quindi meno costosi da eseguire su hardware meno potente.

Utilizzando un prompt negativo, è possibile esercitare un controllo più preciso su quali caratteristiche di CFG vengono evidenziate. I risultati mostrano che il 75% degli esseri umani preferisce GPT. Tutti i metodi CFG al metodo di campionamento standard.