Humpback di Meta AI! Fare un’entrata in grande con l’allineamento automatico di LLM con la retrotraduzione delle istruzioni

Humpback di Meta AI! Allineamento automatico di LLM con retrotraduzione delle istruzioni.

I modelli di lingua di grandi dimensioni (LLM) hanno dimostrato eccellenti capacità di generalizzazione come l’apprendimento in contesto e il ragionamento a catena di pensieri. Per consentire ai LLM di seguire istruzioni in linguaggio naturale e completare compiti del mondo reale, i ricercatori hanno esplorato metodi di sintonizzazione delle istruzioni dei LLM. Questo viene implementato mediante l’adattamento del modello a varie funzioni utilizzando prompt e feedback umani annotati o il fine-tuning supervisionato utilizzando benchmark pubblici e set di dati arricchiti con istruzioni generate manualmente o automaticamente. Ricerche recenti sottolineano l’importanza della qualità dei dati di annotazione umana. Tuttavia, è stato scoperto che annotare istruzioni seguendo set di dati con tale qualità è difficile da scalare.

Questa soluzione si occupa dell’autosintonizzazione con LLM, cioè utilizzando il modello per migliorarsi e allineare la sua risposta con comportamenti desiderati come feedback scritto dal modello, critica, spiegazioni, ecc. I ricercatori di Meta AI hanno introdotto l’autosintonizzazione con backtranslation delle istruzioni. L’idea di base è etichettare automaticamente il testo web con le relative istruzioni tramite un grande modello di lingua.

L’approccio di autoaddestramento presume l’accesso a un modello di lingua di base, una collezione di esempi non etichettati, ad esempio un corpus web, e una piccola quantità di dati di partenza. La prima assunzione chiave di questo metodo è che una parte di questa enorme quantità di testo scritto dall’uomo sarebbe utile come generazioni di riferimento per alcune istruzioni dell’utente. La seconda assunzione è che possiamo prevedere le istruzioni per queste risposte, che possono essere utilizzate per addestrare un modello di seguire le istruzioni utilizzando coppie di esempi di alta qualità.

L’intero processo di backtranslation delle istruzioni può essere suddiviso in passaggi:

  • Auto-aumento: Generare ‘buone istruzioni’ per i dati non etichettati, cioè il corpus web, per produrre dati di addestramento di coppie (istruzione, output) per il fine-tuning delle istruzioni utilizzando il grande modello di lingua Meta AI (LLaMA)
  • Auto-creazione: valutare i dati generati utilizzando LLaMA

Questo è stato seguito dal fine-tuning di LLaMA con i dati e dall’iterazione della procedura utilizzando il modello migliorato. Il modello risultante di backtranslation delle istruzioni basato su Llama è stato chiamato ‘Humpback’ (a causa della grande scala delle balene rispetto ai cammelli). ‘Humpback’ ha superato tutti i modelli non distillati esistenti nella classifica Alpaca per quanto riguarda Claude, Guanaco, Falcon-Instruct, LIMA, ecc.

Le limitazioni attuali della procedura affermano che i dati migliorati sono derivati da un corpus web, quindi il modello raffinato potrebbe accentuare i bias dei dati web. In conclusione, questo metodo garantisce che non ci mancheranno mai dati di addestramento, aprendo ulteriormente la strada a un solido approccio scalabile per il fine-tuning dei grandi modelli di linguaggio per seguire le istruzioni. Il lavoro futuro prevede di scalare ulteriormente questo metodo considerando corpora non etichettati più ampi, che potrebbero portare a ulteriori miglioramenti.