Allacciate le cinture il Falcon 180B è arrivato!
Preparatevi, è arrivato il Falcon 180B allacciate le cinture!
Qualche mese fa, abbiamo imparato a conoscere Falcon LLM, fondato dall’Istituto per l’innovazione tecnologica (TII), un’azienda parte del Consiglio di ricerca per la tecnologia avanzata del governo di Abu Dhabi. Avanti veloce di qualche mese, sono diventati ancora più grandi e migliori, letteralmente, molto più grandi.
Falcon 180B: Tutto quello che devi sapere
- Può un modello AI padroneggiare tutte le attività audio? Incontra UniAudio un nuovo sistema universale di generazione audio.
- Incontra GTE-tiny un potente modello di intelligenza artificiale per l’inserimento di testi per attività successive
- Microsoft Research presenta SpaceEvo una svolta nel design di reti neurali ultra-efficienti e quantizzate per dispositivi reali
Falcon 180B è il più grande modello di linguaggio disponibile, con 180 miliardi di parametri. Sì, hai letto bene, 180 miliardi. È stato addestrato su 3,5 trilioni di token utilizzando il set di dati RefinedWeb del TII. Questo rappresenta il più lungo addestramento predefinito in un unico epoca per un modello aperto.
Ma non si tratta solo delle dimensioni del modello su cui ci concentriamo qui, ma anche della potenza e del potenziale che si nascondono dietro. Falcon 180B sta creando nuovi standard con i modelli di linguaggio ampi (LLMs) quando si tratta di capacità.
I modelli disponibili:
Il modello di base Falcon-180B è un modello di decodifica causale. Consiglio di utilizzare questo modello per ulteriori miglioramenti con i propri dati.
Il modello Falcon-180B-Chat ha delle somiglianze con la versione base, ma si approfondisce usando una combinazione di set di dati di istruzioni (chat) come Ultrachat, Platypus e Airoboros.
Addestramento
Falcon 180B ha aumentato le dimensioni rispetto al suo predecessore Falcon 40B, con nuove capacità come l’attenzione multiquery per una scalabilità migliorata. Il modello ha utilizzato 4096 GPU su Amazon SageMaker ed è stato addestrato su 3,5 trilioni di token. Circa 7.000.000 di ore di GPU, approssimativamente. Ciò significa che Falcon 180B è 2,5 volte più veloce rispetto a LLM come Llama 2 ed è stato addestrato su 4 volte più calcolo.
Wow, è tantissimo.
Dati
Il set di dati utilizzato per Falcon 180B è stato in gran parte acquisito (85%) da RefinedWeb, oltre ad essere stato addestrato su una combinazione di dati curati come articoli tecnici, conversazioni e alcuni elementi di codice.
Valutazione
La parte che tutti volete sapere – come se la cava Falcon 180B rispetto ai suoi concorrenti?
Falcon 180B è attualmente il miglior LLM rilasciato pubblicamente fino ad oggi (settembre 2023). Si è dimostrato superiore a Llama 2 70B e GPT-3.5 di OpenAI su MMLU. Di solito si colloca tra GPT 3.5 e GPT 4. 
Falcon 180B ha ottenuto un punteggio di 68.74 nella classifica di Hugging Face, diventando il LLM preaddestrato rilasciato pubblicamente con il punteggio più alto, superando LLaMA 2 di Meta, che aveva un punteggio di 67.35.
Come utilizzare Falcon 180B?
Per gli sviluppatori e gli appassionati di elaborazione del linguaggio naturale (NLP), Falcon 180B è disponibile nell’ecosistema di Hugging Face, a partire dalla versione 4.33 di Transformers.
Tuttavia, come puoi immaginare a causa delle dimensioni del modello, è necessario tenere conto dei requisiti hardware. Per avere una migliore comprensione dei requisiti hardware, HuggingFace ha effettuato test necessari per eseguire il modello per diversi casi d’uso, come mostrato nell’immagine sottostante:
Se desideri provarlo e giocarci, puoi provare Falcon 180B tramite la demo cliccando su questo link: Falcon 180B Demo.
Falcon 180B vs ChatGPT
Il modello ha alcuni seri requisiti hardware che non sono facilmente accessibili da tutti. Tuttavia, in base alle conclusioni di altre persone che hanno testato sia Falcon 180B che ChatGPT ponendo loro le stesse domande, ChatGPT ha vinto.
Ha ottenuto buoni risultati nella generazione di codice, tuttavia ha bisogno di miglioramenti nell’estrazione e nella sintesi di testo.
Concludendo
Se hai avuto l’opportunità di provarlo, facci sapere quali sono state le tue conclusioni rispetto ad altri LLM. Falcon 180B vale tutta l’eccitazione che lo circonda, essendo attualmente il modello pubblicamente disponibile più grande nel model hub di Hugging Face?
Bene, sembra di sì, poiché si è dimostrato al top delle classifiche per i modelli ad accesso aperto, mettendo modelli come PaLM-2 alle strette. Lo scopriremo prima o poi. Nisha Arya è una data scientist, scrittrice tecnica freelance e community manager presso VoAGI. È particolarmente interessata a fornire consigli sulla carriera o tutorial di Data Science e conoscenze teoriche sulla Data Science. Inoltre, desidera esplorare i diversi modi in cui l’intelligenza artificiale può beneficiare della longevità della vita umana. Una studentessa desiderosa di imparare, che cerca di allargare le sue conoscenze tecniche e le sue abilità di scrittura, aiutando nel contempo gli altri.
****[Nisha Arya](https://www.linkedin.com/in/nisha-arya-ahmed/)**** è una data scientist e scrittrice tecnica freelance. È particolarmente interessata a fornire consigli sulla carriera o tutorial di Data Science e conoscenze teoriche sulla Data Science. Inoltre, desidera esplorare i diversi modi in cui l’intelligenza artificiale può beneficiare della longevità della vita umana. Una studentessa desiderosa di imparare, che cerca di allargare le sue conoscenze tecniche e le sue abilità di scrittura, aiutando nel contempo gli altri.
