NVIDIA svela la GPU H200 Tensor Core rivolta ai carichi di lavoro AI e HPC

NVIDIA presenta la GPU H200 Tensor Core, ideale per le attività di AI e HPC

La scorsa settimana, NVIDIA ha introdotto l’H200 Tensor Core GPU. Questo GPU spera di stabilire un nuovo punto di riferimento come il GPU più potente al mondo progettato per potenziare l’intelligenza artificiale e il calcolo ad alte prestazioni o HPC.

L’H200 si basa sull’architettura NVIDIA Hopper e la GPU presenta HBM3e, fornendo una memoria senza precedenti di 141 gigabyte a uno sconcertante 4,8 terabyte al secondo. Questo è quasi il doppio della capacità del suo predecessore, il NVIDIA H100 Tensor Core GPU, con una larghezza di banda della memoria 1,4 volte superiore.

Come possiamo vedere, questa è un’incremento notevole nelle dimensioni della memoria e la velocità accelera l’intelligenza artificiale generativa e i grandi modelli di linguaggio, al tempo stesso elevando il calcolo scientifico per carichi di lavoro HPC. Ad esempio, nell’inferenza Llama2 70B, raggiunge velocità 1,9 volte più rapide, e l’inferenza GPT-3 175B a velocità 1,6 volte più rapide.

La larghezza di banda della memoria svolge un ruolo cruciale nelle applicazioni HPC, consentendo un trasferimento dei dati più rapido e riducendo i collo di bottiglia di elaborazione. Per compiti ad alta intensità di memoria come simulazioni, ricerca scientifica e intelligenza artificiale, la maggior larghezza di banda della memoria dell’H200 si traduce in un notevole risultato 110 volte più veloce rispetto alle CPU tradizionali.

L’H200 aumenta anche la velocità di inferenza fino a 2 volte rispetto al suo predecessore, l’H100 GPU, specialmente nel trattamento di complessi LLM come Llama2. Detto ciò, l’H200 mantiene l’efficienza energetica, operando entro lo stesso profilo di potenza dell’H100.

Questo aiuta le aziende a mantenere e allinearsi alle pratiche eco-friendly. Il consumo di energia è diventato un problema crescente poiché sempre più aziende si orientano verso l’intelligenza artificiale generativa e sembra che NVIDIA abbia tenuto conto di ciò con l’H200.

NVIDIA spera che con l’introduzione dell’H200 stia stabilendo un nuovo standard per le capacità delle GPU. Ciò sta diventando sempre più importante mentre le comunità dell’intelligenza artificiale e scientifiche continuano a dipendere dall’output dell’IA per aiutare nella ricerca all’avanguardia.

Negli ultimi anni, sempre più team di ricerca si sono affidati alla potenza dei modelli per trovare nuove combinazioni proteiche e rilevare la malattia di Parkinson. Come ciò influenzerà il mercato complessivo delle GPU è ancora sconosciuto.