NVIDIA alimenta la formazione per alcuni dei più grandi modelli fondamentali di Amazon Titan
NVIDIA alimenta la formazione per alcuni dei modelli fondamentali più importanti di Amazon Titan
Tutto su grandi modelli di intelligenza artificiale è enorme: i modelli giganti vengono allenati su enormi set di dati attraverso migliaia di GPU NVIDIA.
Ciò può presentare molte sfide significative per le aziende che perseguono l’IA generativa. NVIDIA NeMo, un framework per la costruzione, personalizzazione ed esecuzione di LLM, aiuta a superare queste sfide.
Un team di scienziati e sviluppatori esperti presso Amazon Web Services sta creando Amazon Titan modelli di base per Amazon Bedrock, un servizio di IA generativa per modelli di base, che utilizza NVIDIA NeMo da diversi mesi.
“Uno dei motivi principali per cui lavoriamo con NeMo è che è estensibile, presenta ottimizzazioni che ci consentono di eseguire l’elaborazione con un’elevata utilizzazione delle GPU e ci consente anche di scalare verso cluster più grandi in modo da poter allenare e fornire modelli ai nostri clienti più rapidamente”, ha detto Leonard Lausen, uno scienziato senior applicato presso AWS.
- Le GPU NVIDIA su AWS offriranno un balzo di simulazione di 2 volte in Omniverse Isaac Sim, accelerando i robot più intelligenti
- Vedendo la Luce
- NVIDIA BioNeMo consente l’intelligenza artificiale generativa per la scoperta di farmaci su AWS
Pensa in grande, davvero grande
Le tecniche di parallelismo in NeMo consentono un’efficace elaborazione dei modelli di intelligenza artificiale su larga scala. Abbinata all’Elastic Fabric Adapter di AWS, ha permesso al team di suddividere il proprio modello di intelligenza artificiale su molte GPU per accelerare l’elaborazione.
EFA fornisce ai clienti AWS un’infrastruttura di rete UltraCluster che può connettere direttamente più di 10.000 GPU e bypassare il sistema operativo e la CPU utilizzando NVIDIA GPUDirect.
La combinazione ha permesso agli scienziati di AWS di offrire modelli di grande qualità, cosa che non sarebbe possibile su larga scala affidandosi esclusivamente a metodi di parallelismo dati.
Framework adatto a tutte le dimensioni
“La flessibilità di NeMo”, ha detto Lausen, “ha permesso ad AWS di adattare il software di elaborazione alle specifiche del nuovo modello Titan, ai dataset e all’infrastruttura”.
Le innovazioni di AWS includono lo streaming efficiente da Amazon Simple Storage Service (Amazon S3) al cluster GPU. “È stato facile incorporare queste migliorie perché NeMo si basa su librerie popolari come PyTorch Lightning che standardizzano i componenti del processo di formazione dei modelli di intelligenza artificiale”, ha affermato Lausen.
AWS e NVIDIA mirano a infondere prodotti come NVIDIA NeMo e servizi come Amazon Titan con le lezioni apprese dalla loro collaborazione a beneficio dei clienti.
