Meta rilascia LLaMA 2 Gratuito per uso commerciale
Meta rilascia LLaMA 2 gratuito uso commerciale
Llama 2, la prossima generazione del nostro modello di linguaggio open-source di grandi dimensioni
Questa sarà una rapida, Meta rilascia la nuova versione di LLaMA. Questa versione sarà conosciuta come LLaMA 2 e sarà gratuita sia per la ricerca che per l’uso commerciale. Questo è un rilascio di Meta e Microsoft insieme.
Credo che Microsoft voglia acquisire tutti i modelli di linguaggio di terze parti e mantenerli come SaaS sulla propria piattaforma come offerta commerciale. Ora OpenAI e LLaMA saranno entrambi parte delle offerte di Microsoft.
Cosa c’è di nuovo?
Includiamo pesi del modello e codice di avvio per il modello preaddestrato e le versioni addestrate per la conversazione
Questo significa che non sarà più necessario andare su 4chan per ottenere i pesi e costruire il proprio modello. Sia l’architettura che i pesi del modello saranno gratuiti per l’uso commerciale.
- Svelando il potere del Llama 2 di Meta Un salto in avanti nell’IA generativa?
- Rivoluzionare la sintesi del testo Esplorare i trasformatori GPT-2 e XLNet
- GPT-Engineer Il tuo nuovo assistente AI per la programmazione
Questo modello è disponibile in 3 versioni —
- LLaMA-2–7B
- LLaMA-2–13B
- LLaMA-2–70B
Tutti questi modelli vengono rilasciati come modello Foundation e modello CHAT correlato. Pertanto saranno rilasciati in totale 6 mesi.
I modelli più piccoli, 7B e 13B, dovrebbero adattarsi a una moderna GPU per consumatori, mentre il modello più grande, 70B, dovrebbe adattarsi all’A100.
- La lunghezza del contesto è di default 4096 ma può essere aumentata.
- Il modello è addestrato su 2 trilioni di token.
- L’architettura di 7B e 13B è simile ai loro fratelli maggiori, ma 70B è un nuovo rilascio.
- Il modello è addestrato per casi d’uso di chat ed è creato utilizzando il fine-tuning supervisionato utilizzando 100.000 campioni e oltre un milione di preferenze umane.
Benchmarks:
Questo modello dovrebbe avere prestazioni paragonabili alla maggior parte dei modelli open-source. In particolare, rispetto a Falcon-40B (il campione in carica attuale), questo modello ottiene risultati migliori in tutte le attività con un margine significativo.
La serie di Test Standard
