I ricercatori di UC Berkeley presentano Starling-7B un modello di linguaggio aperto e di grandi dimensioni (LLM) addestrato mediante apprendimento per rinforzo dal feedback dell’IA (RLAIF)

I ricercatori di UC Berkeley presentano Starling-7B un grande modello di linguaggio aperto (LLM) addestrato con apprendimento per rinforzo dal feedback dell'IA (RLAIF)

Large Language Models (LLMs) sono modelli di intelligenza artificiale per compiti di elaborazione del linguaggio naturale. Questi modelli vengono addestrati su grandi quantità di dati e possono comprendere e generare testo simile a quello umano. Hanno trasformato l’elaborazione del linguaggio naturale con la loro capacità di comprendere e sviluppare testo simile a quello umano. L’utilità è presente in ogni campo della vita.

I ricercatori dell’UC Berkeley hanno introdotto Starling-7B, un grande modello di linguaggio aperto (LLM) addestrato da Reinforcement Learning from AI Feedback (RLAIF). Il modello sfrutta le capacità del nostro recentemente sviluppato training delle ricompense e della politica di ottimizzazione, il nostro nuovo dataset di classificazione GPT-4, Nectar, e un innovativo training delle ricompense e una politica di ottimizzazione.

Le fondamenta di Starling-7B risiedono nel dataset di classificazione GPT-4, Nectar. Presenta 183.000 prompt di chat e ciascun prompt presenta sette risposte provenienti da vari modelli come GPT-4, GPT-3.5-instruct, GPT-3.5-turbo, Mistral-7B-Instruct e Llama2-7B, risultando in 3,8 milioni di confronti confronti a due a due. Per garantire l’imparzialità, i ricercatori hanno dedicato considerevoli sforzi per mitigare il bias posizionale durante la richiesta di classificazione di GPT-4, un processo dettagliatamente descritto nella sezione del dataset.

• Questa case study di ricerca AI di Microsoft rivela come Medprompt migliora le capacità specialistiche di GPT-4 in medicina e oltre senza formazione specifica del dominio.
• Qual è l’Importanza della Cultura dei Dati nelle Organizzazioni?
• OpenAI si prepara per il lancio di GPT-6 e GPT-7 marchi registrati in Cina

Hanno utilizzato un modello di ricompensa di apprendimento per perfezionare il modello linguistico Openchat 3.5 e i risultati sono stati impressionanti. Il punteggio AlpacaEval è aumentato dall’88,51% al 91,99%, mentre il punteggio MT-Bench è aumentato da 7,81 a 8,09. Queste metriche fungono da standard per valutare l’utilità del chatbot.

I ricercatori hanno testato il modello con modelli open-source precedenti come Zephyra-7B, Neural-Chat-7B e Tulu-2-DPO-70B, utilizzando la Direct Preference Optimization (DPO). Mentre questi modelli si sono comportati bene in Chatbot Arena, non hanno raggiunto il pieno potenziale di RLHF quando confrontati con i modelli SFT migliori come OpenHermes 2.5 e Openchat 3.5 in MT Bench.

I ricercatori hanno sottolineato che il modello presenta certe sfide. È suscettibile a metodi ingannevoli o manipolatori. Inoltre, il modello fatica con compiti matematici o di ragionamento e l’accuratezza dei suoi output può essere garantita solo a volte. Hanno anche notato che il modello soffre occasionalmente di verbosità e suscettibilità a promemoria di jailbreaking. Hanno affermato che queste imperfezioni sono ancora oggetto di miglioramento per Starling-7B.

Per affrontare questo problema, hanno proposto di perfezionare ulteriormente il modello utilizzando modelli di ricompense basati su regole, in cui GPT-4 funge da guida, utilizzando le tecniche descritte nel Rapporto Tecnico GPT-4.

In conclusione, Starling-7B rappresenta un progresso significativo nei LLM e illustra le possibilità del Reinforcement Learning attraverso il feedback dell’IA. Il campo dell’elaborazione del linguaggio naturale sta ottenendo miglioramenti grazie alla collaborazione tra questi modelli e la conoscenza condivisa della comunità. I ricercatori stanno lavorando per migliorare le prestazioni del modello e risolvere le limitazioni.

L’articolo UC Berkeley Researchers Introduce Starling-7B: An Open Large Language Model (LLM) Trained by Reinforcement Learning from AI Feedback (RLAIF) è apparso per primo su MarkTechPost.