Ricercatori di Stanford presentano SequenceMatch addestramento di LLM con una perdita di apprendimento per imitazione.

Stanford researchers present SequenceMatch, LLM training with imitation learning loss.

I modelli autoregressivi sono una classe di modelli statistici basati sull’intuizione che il valore corrente di una variabile dipende largamente dai suoi valori passati. In altre parole, il modello predice il valore futuro di una variabile regredendola sui suoi valori passati. Uno dei più noti esempi di modelli autoregressivi è la classe di modelli GPT, in particolare GPT-3 e le sue varianti, che si basano principalmente sulla previsione della prossima parola in una sequenza data la sequenza precedente. Allenando GPT in questo modo autoregressivo su un ampio corpus di testo, impara a catturare i pattern statistici, le dipendenze e le relazioni semantiche nel linguaggio, consentendogli di generare testo pertinente in base all’input fornito. Tuttavia, precedenti esperimenti di ricerca hanno dimostrato che modelli più piccoli o modelli che sono stati raffinati per avere meno casualità o variabilità (cioè, temperature di generazione più basse) tendono a generare output ripetitivi o errati. Inoltre, in determinati scenari, questi modelli utilizzano i propri output come input, portando spesso a errori che fanno uscire rapidamente il modello dalla distribuzione prevista.

Per superare queste sfide, un team di ricercatori di Stanford ha condotto studi iniziali e identificato due principali ostacoli che impediscono ai modelli autoregressivi addestrati con la massima verosimiglianza (MLE) di generare sequenze coerenti durante la valutazione. Il primo problema risiede nella misura di divergenza utilizzata per valutare la disparità tra il modello e la distribuzione dei dati. Poiché MLE non considera le sequenze fuori distribuzione (OOD), il comportamento del modello su tali sequenze non può essere controllato. Per affrontare questo problema, i ricercatori hanno ideato l’idea di minimizzare la divergenza χ2 tra una combinazione di dati effettivi e le sequenze generate in modo autoregressivo, che ha mostrato performance superiori rispetto a MLE. La seconda sfida si presenta quando il modello produce un token OOD senza una continuazione adeguata che sia allineata con la distribuzione dei dati. Per affrontare questo problema, i ricercatori introducono un’azione <backspace> nel processo di generazione, consentendo al modello di cancellare il token precedente e correggere eventuali errori commessi.

Trarre insegnamenti da questi studi preliminari, i ricercatori di Stanford hanno sviluppato un nuovo metodo chiamato SequenceMatch, che consente l’addestramento di modelli autoregressivi utilizzando tecniche di divergenza diverse, aggiungendo un’azione <backspace> che consente al modello di correggere gli errori. I ricercatori hanno riformulato il problema della generazione di sequenze come un problema di apprendimento per rinforzo che, in termini semplici, può essere riassunto come la scelta del prossimo corso di azione (che, in questo caso, è la generazione del prossimo token) tra tutte le possibili sequenze per uno stato dato (cioè, una sequenza parziale). Pertanto, utilizzando gli ultimi sviluppi nell’apprendimento per imitazione non avversaria, che è un framework all’interno del campo dell’apprendimento per rinforzo, i ricercatori sono stati in grado di ridurre la divergenza tra le misure di occupazione di un modello addestrato e la distribuzione dei dati effettivi. Inoltre, per minimizzare ulteriormente l’errore di composizione nella generazione di sequenze, il modello autoregressivo è stato addestrato con un’azione <backspace>, anziché con MLE, per agevolare il backtracking consentendo al modello di eliminare i token. Questa tecnica di perdita completamente supervisionata per il modellamento del linguaggio, SequenceMatch, può essere utilizzata come passaggio aggiuntivo per raffinare i modelli preaddestrati.

• Ricercatori di Princeton presentano Infinigen un generatore procedurale di scene 3D fotorealistiche del mondo naturale.
• Ricercatori dell’Istituto Allen per l’Intelligenza Artificiale presentano VISPROG Un Approccio Neuro-Simbolico per Risolvere Compiti Visivi Complessi e Compositi dati Istruzioni in Linguaggio Naturale.
• I ricercatori sviluppano una nuova fonte di luce quantistica.

I ricercatori hanno condotto diverse valutazioni sperimentali per confrontare le prestazioni di modelli basati su GPT-2 raffinati con SequenceMatch rispetto a modelli addestrati con MLE. I ricercatori hanno utilizzato il punteggio MAUVE come metrica per confrontare le prestazioni, e si è scoperto che i modelli raffinati con SequenceMatch hanno generato testo più vicino al dataset e sono apparsi più fluidi e privi di errori in contrasto ai modelli addestrati con MLE. Il team ha anche evidenziato la limitazione del loro modello, poiché richiede maggiori risorse computazionali e tempo per generare testi lunghi. Per quanto riguarda il futuro lavoro, i ricercatori si stanno concentrando nello studio di come diversi metodi di divergenza influenzino la qualità delle sequenze generate.