Ricercatori dell’Università Tsinghua presentano OpenChat, un nuovo framework di intelligenza artificiale (AI) che potenzia i modelli di lingua open-source con dati di qualità mista.

Ricercatori dell'Università Tsinghua presentano OpenChat, un nuovo framework di intelligenza artificiale (AI) che arricchisce i modelli di lingua open-source con dati di alta qualità.

Nel campo in continua evoluzione del Natural Language Processing, le capacità dei grandi modelli linguistici sono cresciute in modo esponenziale. Ricercatori e organizzazioni di tutto il mondo stanno continuamente spingendo i confini di questi modelli per migliorare le loro prestazioni in varie attività di comprensione e generazione di linguaggio naturale. Un aspetto critico per avanzare questi modelli è la qualità dei dati di addestramento su cui si basano. In questo articolo, esaminiamo un paper di ricerca che affronta la sfida di migliorare i modelli linguistici open source utilizzando dati di qualità mista. Questa ricerca esplora il metodo proposto, la tecnologia e le implicazioni per il Natural Language Processing.

I dati di qualità mista, compresi quelli generati da esperti e quelli sub-ottimali, rappresentano una sfida significativa nell’addestramento dei modelli linguistici. I dati generati dagli esperti che provengono dai modelli di ultima generazione come GPT-4 sono generalmente di alta qualità e costituiscono uno standard d’oro per l’addestramento. D’altra parte, i dati sub-ottimali provenienti da modelli più vecchi come GPT-3.5 possono presentare una qualità inferiore e creare sfide durante l’addestramento. La ricerca in discussione riconosce questa situazione di dati di qualità mista e mira a migliorare le capacità di seguire le istruzioni dei modelli linguistici open source.

Prima di approfondire il metodo proposto, facciamo brevemente una panoramica dei metodi e degli strumenti attualmente utilizzati nell’addestramento dei modelli linguistici. Un approccio comune per migliorare questi modelli è il Fine-Tuning Supervisionato (SFT). Nel SFT, i modelli vengono addestrati su compiti di seguire le istruzioni utilizzando dati generati da esperti di alta qualità, che guidano la generazione di risposte corrette. Inoltre, i metodi di Fine-Tuning dell’apprendimento per rinforzo (RLFT) stanno guadagnando popolarità. Il RLFT comporta la raccolta di feedback di preferenza da parte degli esseri umani e l’addestramento dei modelli per massimizzare le ricompense basate su tali preferenze.

• Crea un assistente di chat potente per PDF e articoli senza la chiave OpenAI
• Masterizzare l’analisi dei sentimenti attraverso l’IA generativa
• Questo articolo sull’Intelligenza Artificiale di Microsoft introduce un nuovo approccio per addestrare modelli di linguaggio imitare la comprensione umana nella lettura per migliorare le prestazioni in biomedicina, finanza e diritto.

L’Università di Tsinghua ha proposto un metodo innovativo nel loro paper di ricerca – OpenChat. OpenChat è un framework innovativo che migliora i modelli linguistici open source utilizzando dati di qualità mista. Al centro del framework si trova il Conditioned Reinforcement Learning Fine-Tuning (C-RLFT), un nuovo metodo di addestramento che semplifica il processo di formazione e riduce la dipendenza dai modelli di ricompensa.

C-RLFT arricchisce le informazioni in ingresso per i modelli linguistici distinguendo tra diverse fonti di dati in base alla loro qualità. Questa distinzione viene raggiunta attraverso l’implementazione di una politica condizionata dalla classe. La politica aiuta il modello a differenziare i dati generati dagli esperti (di alta qualità) dai dati sub-ottimali (di qualità inferiore). In tal modo, C-RLFT fornisce segnali espliciti al modello, consentendogli di migliorare le sue capacità di seguire le istruzioni.

Le prestazioni di OpenChat, in particolare del modello open chat-13 b, sono state valutate su vari benchmark. Uno dei benchmark significativi utilizzati è AlpacaEval, dove le capacità di seguire le istruzioni del modello vengono messe alla prova. Openchat-13b mostra risultati notevoli, superando altri modelli open-source con 13 miliardi di parametri come LLaMA-2. Ottiene tassi di vittoria più alti e prestazioni superiori nei compiti di seguire le istruzioni, dimostrando l’efficacia del metodo C-RLFT.

La qualità dei dati è un aspetto importante evidenziato dal team di ricerca. Nonostante la loro quantità limitata, i dati degli esperti svolgono un ruolo cruciale nel migliorare le prestazioni dei modelli linguistici. La capacità di differenziare tra dati degli esperti e dati sub-ottimali, unita al metodo C-RLFT, porta a miglioramenti significativi delle prestazioni dei modelli. Questa scoperta sottolinea l’importanza della cura di dati di addestramento di alta qualità per garantire il successo dell’addestramento dei modelli di linguaggio.

Implicazioni e Ricerche Future

Il framework di OpenChat e il metodo C-RLFT promettono per il futuro dell’elaborazione del linguaggio naturale. Questo approccio apre nuove strade per la ricerca e lo sviluppo, semplificando il processo di formazione e riducendo la dipendenza da modelli di ricompense complessi. Affronta anche la sfida dei dati di qualità mista, rendendo più accessibile l’utilizzo efficace di set di dati di formazione diversi.

In conclusione, OpenChat presenta una soluzione innovativa per migliorare i modelli di linguaggio open-source con dati di qualità mista. Introducendo il metodo C-RLFT, questo approccio raggiunge una maggiore capacità di seguire le istruzioni, come dimostrato dalle sue prestazioni nei benchmark. Con l’evoluzione dell’elaborazione del linguaggio naturale, tecniche innovative come OpenChat aprono la strada per una formazione più efficiente ed efficace dei modelli di linguaggio.