Stability AI ha rilasciato Beluga 1 e Stable Beluga 2, nuovi LLM open-access.
Stability AI released Beluga 1 and Stable Beluga 2, new open-access LLMs.
In un nuovo blog, Stability AI e il suo laboratorio CarperAI hanno svelato Stable Beluga 1 e il suo successore, Stable Beluga 2 (precedentemente noto come FreeWilly). Secondo il loro post, l’obiettivo di questi due Large Language Models è espandere e creare un nuovo standard per la ricerca AI open-access.
Stable Beluga 1 si basa sulla fondazione del modello LLaMA 65B. È stato sintonizzato con un nuovo dataset generato sinteticamente utilizzando Supervised Fine-Tune (SFT) nel formato standard Alpaca. Allo stesso modo, Stable Beluga 2 sfrutta la potenza del modello di base LLaMA 2 70B. Secondo il post, ciò gli conferisce un’eccezionale performance leader nel settore.
Entrambi i modelli sono emersi come interessanti esperimenti di ricerca per spingere avanti iniziative di ricerca aperta sotto una licenza non commerciale. Il team interno ha garantito che entrambi i modelli siano “cortesi e benigni nella natura”. Ma sperano anche che la comunità contribuisca e partecipi a un ulteriore red-teaming.
- Automatizza la creazione di didascalie e la ricerca di immagini su larga scala aziendale utilizzando l’IA generativa e Amazon Kendra
- La distribuzione di SageMaker è ora disponibile su Amazon SageMaker Studio
- Crea un avatar personalizzato con l’uso dell’IA generativa utilizzando Amazon SageMaker
Il percorso di generazione e raccolta dei dati per i modelli Stable Beluga trae ispirazione dalla metodologia di Microsoft descritta nel paper “Orca: Progressive Learning from Complex Explanation Traces of GPT-4”. Nel post, hanno menzionato che il loro processo era simile, ma il team ha preso un’altra strada per quanto riguarda le fonti di dati.
Hanno poi menzionato che il dataset sintetico contiene 600.000 punti dati. È stato selezionato da istruzioni di alta qualità ed è una variante dei dataset di Enrico Shippole:
- COT Submix Originale
- NIV2 Submix Originale
- FLAN 2021 Submix Originale
- T0 Submix Originale
In seguito al post, hanno menzionato che la selezione di questi dataset ha rimosso esempi dai benchmark di valutazione. Secondo loro, ciò è stato fatto per garantire una competizione equa. Nonostante l’addestramento su una frazione dei dati utilizzati dal paper Orca originale, i modelli Stable Beluga sono stati in grado di mostrare prestazioni notevoli su diversi benchmark. Secondo Stability AI, questo ha convalidato il loro approccio ai dataset generati sinteticamente.
Infine, il post ha menzionato che Hugging Face è stato in grado di convalidare le metriche di entrambi i modelli Beluga. I risultati sono stati poi pubblicati sul loro Open LLM Leaderboard. Attualmente, Stable Beluga 2 occupa il secondo posto, mentre Stable Beluga 1 è attualmente al settimo posto.
Nota dell’editore: Il Deep Learning sta diventando un argomento critico nel futuro dello sviluppo di AI e se vuoi rimanere in prima linea sulle ultime novità, allora devi ascoltare i leader del settore che stanno guidando l’avanzata. Puoi farlo partecipando al ODSC West 2023 Deep Learning & Machine Learning Track. Prenota il tuo posto e registrati oggi stesso.
