Incontra xTuring Uno Strumento Open-Source Che Ti Consente di Creare il Tuo Proprio Grande Modello di Linguaggio (LLMs) Con Solo Tre Righe di Codice
Incontra xTuring uno strumento open-source per creare LLMs con tre righe di codice.
L’implementazione pratica di un Large Language Model (LLM) per un’applicazione personalizzata è attualmente difficile per la maggior parte delle persone. Ci vuole molto tempo ed esperienza per creare un LLM in grado di generare contenuti con alta precisione e velocità per domini specializzati o, forse, per imitare uno stile di scrittura.
Stochastic ha un team di brillanti ingegneri di apprendimento automatico, dottorandi e laureati di Harvard che si concentrano sull’ottimizzazione e l’accelerazione dell’IA per LLM. Presentano xTuring, una soluzione open-source che consente agli utenti di creare il proprio LLM utilizzando solo tre righe di codice.
Applicazioni come la consegna automatica di testo, i chatbot, la traduzione del linguaggio e la produzione di contenuti sono aree in cui le persone si sforzano di sviluppare e creare nuove applicazioni con questi concetti. Addestrare e ottimizzare questi modelli può richiedere molto tempo e risorse. xTuring rende facile e veloce l’ottimizzazione del modello, che si tratti di LLaMA, GPT-J, GPT-2 o un altro metodo.
- Top Strumenti/ Piattaforme per l’ottimizzazione degli iperparametri 2023
- Ricercatori dell’Università di Zurigo sviluppano SwissBERT un modello linguistico multilingue per le quattro lingue nazionali della Svizzera.
- Perché il Backtesting è Importante e Come Farlo nel Modo Giusto
La versatilità di xTuring come framework di addestramento singolo-GPU o multi-GPU consente agli utenti di personalizzare i propri modelli in base alle configurazioni hardware specifiche. xTuring utilizza tecniche di fine-tuning efficienti in termini di memoria come LoRA per accelerare il processo di apprendimento e ridurre le spese hardware fino al 90%. Riducendo la quantità di memoria necessaria per il fine-tuning, LoRA facilita l’addestramento del modello in modo più rapido ed efficace.
Il modello LLaMA 7B è stato utilizzato come riferimento per le capacità di fine-tuning di xTuring, e il team ha confrontato xTuring con altre tecniche di fine-tuning. Il dataset consiste in 52K istruzioni, e per i test sono state utilizzate 335GB di memoria CPU e 4xA100 GPU.
I risultati dimostrano che l’addestramento del modello LLaMA 7B per 21 ore per epoca con DeepSpeed + CPU offloading ha consumato 33.5GB di GPU e 190GB di CPU. Mentre il fine-tuning con LoRA + DeepSpeed o LoRA + DeepSpeed + CPU offloading, l’utilizzo di memoria diminuisce drasticamente a 23.7 GB e 21.9 GB sulla GPU, rispettivamente. La quantità di RAM utilizzata dalla CPU è passata da 14.9 GB a 10.2 GB. Inoltre, il tempo di addestramento è stato ridotto da 40 minuti a 20 minuti per epoca quando si utilizza LoRA + DeepSpeed o LoRA + DeepSpeed + CPU offloading.
Iniziare con xTuring non potrebbe essere più facile. L’interfaccia utente del tool è stata progettata per essere semplice da imparare e utilizzare. Gli utenti possono ottimizzare i propri modelli con pochi clic del mouse, e xTuring si occuperà del resto. Grazie alla sua facilità d’uso, xTuring è una scelta ideale sia per chi è alle prime armi con LLM che per chi ha più esperienza.
Secondo il team, xTuring è la migliore opzione per il fine-tuning di grandi modelli di linguaggio, poiché consente l’addestramento su singola e multi-GPU, utilizza approcci efficienti in termini di memoria come LoRA e ha un’interfaccia intuitiva.
Consulta il Github, il Progetto e il Riferimento. Tutti i crediti per questa ricerca vanno ai ricercatori di questo progetto. Inoltre, non dimenticare di unirti al nostro subreddit ML di oltre 17k, al Canale Discord e alla Newsletter via Email, dove condividiamo le ultime notizie sulla ricerca in AI, progetti interessanti di AI e altro ancora.
L’articolo Incontra xTuring: uno strumento open-source che ti consente di creare il tuo proprio Large Language Model (LLM) con solo tre righe di codice è apparso per primo su MarkTechPost.
