Presentazione del più grande modello di linguaggio multilingue aperto al mondo BLOOM

Presentazione del modello di linguaggio multilingue BLOOM, il più grande al mondo.

I modelli di linguaggio di grandi dimensioni (LLM) hanno avuto un impatto significativo sulla ricerca di intelligenza artificiale. Questi modelli potenti e generali possono affrontare una vasta gamma di nuovi compiti linguistici a partire dalle istruzioni dell’utente. Tuttavia, le università, le organizzazioni non profit e i laboratori di ricerca di aziende più piccole trovano difficile creare, studiare o persino utilizzare LLM in quanto solo pochi laboratori industriali con le risorse necessarie e i diritti esclusivi possono accedervi completamente. Oggi rilasciamo BLOOM, il primo LLM multilingue addestrato con completa trasparenza, per cambiare questo status quo – il risultato della più grande collaborazione di ricercatori di intelligenza artificiale mai coinvolta in un singolo progetto di ricerca.

Con i suoi 176 miliardi di parametri, BLOOM è in grado di generare testo in 46 lingue naturali e 13 linguaggi di programmazione. Per quasi tutte loro, come lo spagnolo, il francese e l’arabo, BLOOM sarà il primo modello di linguaggio con oltre 100 miliardi di parametri mai creato. Questo è il culmine di un anno di lavoro che ha coinvolto oltre 1000 ricercatori provenienti da più di 70 paesi e più di 250 istituzioni, che ha portato a una fase finale di 117 giorni (11 marzo – 6 luglio) di addestramento del modello BLOOM sul supercomputer Jean Zay, nel sud di Parigi, Francia, grazie a una sovvenzione per il calcolo del valore stimato di €3M da parte degli enti di ricerca francesi CNRS e GENCI.

Ora i ricercatori possono scaricare, eseguire e studiare BLOOM per indagare sulle prestazioni e il comportamento dei grandi modelli di linguaggio sviluppati di recente fino alle loro operazioni interne più profonde. Più in generale, chiunque, singolo individuo o istituzione, che accetta i termini della Licenza di AI Responsabile del modello (sviluppata durante il progetto BigScience stesso) può utilizzare e costruire sul modello su una macchina locale o su un fornitore di cloud. In quest’ottica di collaborazione e miglioramento continuo, rilasciamo anche, per la prima volta, i checkpoint intermedi e gli stati dell’ottimizzatore dell’addestramento. Non hai 8 A100 per giocarci? Un’API di inferenza, attualmente supportata dal cloud TPU di Google e una versione FLAX del modello, consente anche test rapidi, prototipazione e utilizzo su scala inferiore. Puoi già giocarci su Hugging Face Hub.

• Creazione di un Generatore di Playlist con Sentence Transformers
• La Tecnologia dietro BLOOM Training
• Come addestrare dinamicamente il tuo modello utilizzando dati avversari

Questo è solo l’inizio. Le capacità di BLOOM continueranno a migliorare man mano che il workshop continua a sperimentare e mettere a punto il modello. Abbiamo iniziato a lavorare per renderlo istruibile come il nostro precedente sforzo T0++ ed è previsto che aggiungeremo altre lingue, comprimeremo il modello in una versione più utilizzabile con lo stesso livello di prestazioni e lo useremo come punto di partenza per architetture più complesse… Tutti gli esperimenti che i ricercatori e gli operatori hanno sempre voluto eseguire, a partire dalla potenza di un modello con oltre 100 miliardi di parametri, sono ora possibili. BLOOM è il seme di una famiglia di modelli viventi che intendiamo far crescere, non solo un modello una tantum, e siamo pronti a sostenere gli sforzi della comunità per ampliarlo.