Incontra LLM360 i primi Large Language Models (LLM) completamente open-source e trasparenti

Incontra LLM360, i primi Large Language Models (LLM) completamente open-source e trasparenti

“`html

I modelli di linguaggio LLM (Large Language Models) open-source come LLaMA, Falcon e Mistral offrono una serie di scelte per professionisti e studiosi di intelligenza artificiale. Tuttavia, la maggior parte di questi LLM ha reso disponibili solo componenti selezionati come pesi finali del modello o script di inferenza, con documenti tecnici che spesso riducono il loro focus ad aspetti di progettazione più ampi e metriche di base. Questo approccio limita i progressi nel campo riducendo la chiarezza nelle metodologie di addestramento degli LLM, portando a sforzi ripetuti da parte di squadre per scoprire numerosi aspetti della procedura di addestramento.

Un team di ricercatori di Petuum, MBZUAI, USC, CMU, UIUC e UCSD ha introdotto LLM360 per supportare la ricerca di intelligenza artificiale aperta e collaborativa, rendendo trasparente e riproducibile da parte di tutti il processo di addestramento end-to-end degli LLM. LLM360 è un’iniziativa per la piena apertura degli LLM che sostiene che tutto il codice di addestramento e i dati, i checkpoint di modello e i risultati intermedi siano resi disponibili alla comunità.

Il progetto più simile a LLM360 è Pythia, che mira anche a raggiungere la piena riproducibilità degli LLM. I modelli di EleutherAI come GPT-J e GPT-NeoX sono stati rilasciati con codice di addestramento, set di dati e checkpoint intermedi del modello, dimostrando il valore del codice di addestramento open-source. INCITE, MPT e OpenLLaMA sono stati rilasciati con codice di addestramento e set di dati di addestramento, mentre RedPajama ha rilasciato anche checkpoint intermedi del modello.

• OpenAI pianifica un incontro di sviluppatori a Bengaluru per affrontare le preoccupazioni sulla sicurezza dell’AI
• LLM Strategie di perfezionamento per le applicazioni specifiche del dominio
• Nessuno è al sicuro dall’iniezione rapida di LLM

LLM360 rilascia due LLM con 7 miliardi di parametri, AMBER e CRYSTALCODER, insieme al loro codice di addestramento, dati, checkpoint intermedi e analisi. I dettagli del set di dati di pre-training, inclusi pre-elaborazione dei dati, formato, rapporti di miscelazione dei dati e dettagli architettonici del modello LLM, vengono esaminati nello studio.

La ricerca menziona l’utilizzo del punteggio di memorizzazione introdotto in lavori precedenti e il rilascio di metriche, frammenti di dati e checkpoint per consentire ai ricercatori di trovare facilmente le corrispondenze. Lo studio sottolinea anche l’importanza di rimuovere i dati su cui gli LLM sono pre-addestrati, insieme a dettagli sulla filtrazione dei dati, elaborazione e ordine di addestramento, per valutare i rischi degli LLM.

La ricerca presenta i risultati di valutazione su quattro set di dati, ovvero ARC, HellaSwag, MMLU e TruthfulQA, mostrando le performance del modello durante il pre-addestramento. I punteggi di valutazione di HellaSwag e ARC aumentano in modo monotono durante il pre-addestramento, mentre il punteggio di TruthfulQA diminuisce. Il punteggio di MMLU diminuisce inizialmente e quindi inizia a crescere. Le performance di AMBER sono relativamente competitive in punteggi come MMLU, ma rimangono indietro in ARC. I modelli AMBER fine-tuning mostrano una forte performance rispetto ad altri modelli simili.

In conclusione, LLM360 è un’iniziativa per LLMs completi e completamente open-source per promuovere la trasparenza all’interno della comunità open-source di pre-addestramento di LLMs. Lo studio ha rilasciato due LLM con 7 miliardi di parametri, AMBER e CRYSTALCODER, insieme al loro codice di addestramento, dati, checkpoint intermedi del modello e analisi. Lo studio sottolinea l’importanza di aprire gli LLMs da tutte le angolazioni, inclusi il rilascio di checkpoint, frammenti di dati e risultati di valutazione, per consentire un’analisi completa e riproducibilità.

“`