Nuova classe di sistemi IA accelerati ed efficienti segna la prossima era del supercalcolo

La nuova classe di sistemi AI accelerati ed efficienti segna l'arrivo della prossima era del supercalcolo

Oggi NVIDIA ha presentato a SC23 la nuova ondata di tecnologie che porteranno i centri di ricerca scientifica e industriale di tutto il mondo a nuovi livelli di performance ed efficienza energetica.

“Le innovazioni hardware e software di NVIDIA stanno creando una nuova classe di supercomputer AI”, ha dichiarato Ian Buck, vice presidente del settore high performance computing e hyperscale data center dell’azienda, in un discorso speciale alla conferenza.

Alcuni dei sistemi includeranno acceleratori NVIDIA Hopper con memoria potenziata, altri una nuova architettura di sistema NVIDIA Grace Hopper. Tutti utilizzeranno il parallelismo esteso per eseguire una pila completa di software accelerati per l’AI generativa, l’HPC e il calcolo quantistico ibrido.

Buck ha descritto il nuovo NVIDIA HGX H200 come “la piattaforma di calcolo AI leader mondiale”

Immagine del sistema GPU H200
Le GPU Tensor Core H200 di NVIDIA hanno una memoria HBM3e per eseguire modelli di AI generativa in rapida crescita.

Include fino a 141 GB di memoria HBM3e, il primo acceleratore AI a utilizzare questa tecnologia ultraveloce. Eseguendo modelli come GPT-3, le GPU Tensor Core H200 di NVIDIA offrono un aumento delle prestazioni fino a 18 volte rispetto agli acceleratori di generazioni precedenti.

Tra gli altri benchmark di AI generativa, raggiungono velocità di 12.000 token al secondo su un grande modello di linguaggio Llama2-13B (LLM).

Buck ha anche svelato una piattaforma server che collega quattro Superchip NVIDIA GH200 Grace Hopper tramite un’interconnessione NVIDIA NVLink. La configurazione quad mette in un singolo nodo di calcolo ben 288 core Arm Neoverse e 16 petaflops di prestazioni AI con fino a 2,3 terabyte di memoria ad alta velocità.

Immagine del nodo server quad GH200
I nodi server basati sui quattro Superchip GH200 offriranno prestazioni AI pari a 16 petaflops.

Dimostrando la sua efficienza, un singolo Superchip GH200 utilizzando la libreria open-source NVIDIA TensorRT-LLM è 100 volte più veloce di un sistema CPU dual-socket X86 e quasi due volte più efficiente dal punto di vista energetico rispetto a un server X86 + GPU H100.

“Il calcolo accelerato è un calcolo sostenibile”, ha detto Buck. “Sfruttando la potenza del calcolo accelerato e dell’AI generativa, insieme possiamo stimolare l’innovazione in diversi settori riducendo al contempo il nostro impatto sull’ambiente.”

NVIDIA alimenta 38 dei 49 nuovi sistemi TOP500

La lista TOP500 dei supercomputer più veloci al mondo riflette la transizione verso il calcolo supercomputing accelerato ed efficiente dal punto di vista energetico.

Grazie ai nuovi sistemi basati sulle GPU Tensor Core H100 di NVIDIA, l’azienda offre ora una potenza di calcolo HPC superiore a 2,5 exaflops su questi sistemi leader mondiali, rispetto a 1,6 exaflops nella classifica di maggio. La contribuzione di NVIDIA nei primi 10 raggiunge quasi un exaflop di calcolo HPC e 72 exaflops di prestazioni AI.

La nuova lista contiene il numero più alto di sistemi mai utilizzati con tecnologie NVIDIA, 379 contro 372 a maggio, tra cui 38 dei 49 nuovi supercomputer della lista.

Microsoft Azure è in testa con il suo sistema Eagle che utilizza GPU H100 nelle istanze NDv5 e si posiziona al terzo posto con 561 petaflops. Mare Nostrum5 a Barcellona si classifica all’ottavo posto, mentre NVIDIA Eos – che recentemente ha stabilito nuovi record di addestramento AI sui benchmark MLPerf – si posiziona al nono posto.

Dimostrando la loro efficienza energetica, le GPU NVIDIA alimentano 23 dei primi 30 sistemi nella classifica Green500. E mantengono il primo posto con il sistema Henri basato su GPU H100, che offre 65,09 gigaflops per watt per l’Istituto Flatiron a New York.

Gen AI esplora COVID

Mostrando ciò che è possibile, il Laboratorio Nazionale di Argonne ha utilizzato NVIDIA BioNeMo, una piattaforma AI generativa per LLM biomolecolari, per sviluppare GenSLMs, un modello in grado di generare sequenze genetiche che assomigliano molto alle varianti reali del coronavirus. Utilizzando le GPU NVIDIA e i dati di 1,5 milioni di sequenze genomiche COVID, può anche identificare rapidamente nuove varianti del virus.

Il lavoro ha vinto il premio speciale Gordon Bell l’anno scorso ed è stato addestrato su supercomputer, tra cui il sistema Polaris di Argonne, il Perlmutter del Dipartimento dell’Energia degli Stati Uniti e il Selene di NVIDIA.

È “solo la punta dell’iceberg: il futuro è ricco di possibilità, poiché l’IA generativa continua a ridefinire il panorama dell’esplorazione scientifica”, ha affermato Kimberly Powell, vicepresidente della sanità presso NVIDIA, nell’indirizzo speciale.

Risparmiare tempo, denaro ed energia

Utilizzando le ultime tecnologie, i carichi di lavoro accelerati possono avere una riduzione dell’ordine di grandezza dei costi di sistema e dell’energia utilizzata, ha detto Buck.

Ad esempio, Siemens ha collaborato con Mercedes per analizzare l’aerodinamica e l’acustica correlate per i suoi nuovi veicoli elettrici EQE. Le simulazioni che richiedevano settimane su cluster CPU sono state eseguite significativamente più velocemente utilizzando le nuove GPU NVIDIA H100. Inoltre, le GPU Hopper hanno permesso di ridurre i costi del 3x e il consumo energetico del 4x (sotto riportato).

Grafico che mostra le prestazioni e l'efficienza energetica delle GPU H100

Accensione di 200 exaflops a partire dal prossimo anno

Progressi scientifici e industriali arriveranno da ogni angolo del mondo dove vengono utilizzati i più recenti sistemi.

“Già vediamo 200 exaflops combinati di IA sui supercomputer Grace Hopper che andranno in produzione nel 2024”, ha detto Buck.

Questi includono il massiccio supercomputer JUPITER presso il centro Jülich in Germania. Può offrire 93 exaflops di prestazioni per l’addestramento AI e 1 exaflop per le applicazioni HPC, consumando solo 18,2 megawatt di potenza.

Grafico delle prestazioni di implementazione dei supercomputer che utilizzano GPU NVIDIA fino al 2024
I centri di ricerca sono pronti a accendere uno tsunami di prestazioni GH200.

Basato sul sistema raffreddato a liquido BullSequana XH3000 di Eviden, JUPITER utilizzerà l’architettura di sistema NVIDIA quad GH200 e la rete NVIDIA Quantum-2 InfiniBand per previsioni climatiche, previsioni meteorologiche, scoperta di farmaci, calcolo quantistico ibrido e gemelli digitali. I nodi quad GH200 di JUPITER saranno configurati con 864 GB di memoria ad alta velocità.

È uno dei nuovi supercomputer che utilizzano Grace Hopper, annunciato da NVIDIA a SC23.

Il sistema HPE Cray EX2500 di Hewlett Packard Enterprise utilizzerà il GH200 quadruplo per alimentare molti supercomputer di intelligenza artificiale che saranno in funzione l’anno prossimo.

Ad esempio, HPE utilizza il GH200 quadruplo per alimentare OFP-II, un sistema di calcolo ad alte prestazioni avanzato in Giappone condiviso dall’Università di Tsukuba e dall’Università di Tokyo, così come il sistema DeltaAI, che triplicherà la capacità di calcolo per il National Center for Supercomputing Applications degli Stati Uniti.

HPE sta anche costruendo il sistema Venado per il Los Alamos National Laboratory, il primo GH200 ad essere implementato negli Stati Uniti. Inoltre, HPE sta costruendo supercomputer GH200 in Medio Oriente, Svizzera e nel Regno Unito.

Grace Hopper in Texas e oltre

Al Texas Advanced Computing Center (TACC), Dell Technologies sta costruendo il supercomputer Vista con NVIDIA Grace Hopper e Grace CPU Superchips.

Oltre 100 aziende e organizzazioni globali, inclusi il NASA Ames Research Center e Total Energies, hanno già acquistato i sistemi di accesso anticipato di Grace Hopper, ha detto Buck.

Si uniscono agli utenti di GH200 precedentemente annunciati come SoftBank e l’Università di Bristol, così come l’enorme sistema Leonardo con 14.000 GPU NVIDIA A100 che offre 10 exaflop di prestazioni di intelligenza artificiale per il consorzio Cineca dell’Italia.

La visione dai centri di supercalcolo

I leader dei centri di supercalcolo di tutto il mondo hanno condiviso i loro piani e il lavoro in corso con i sistemi più recenti.

“Abbiamo collaborato con MeteoSwiss ECMWP così come con scienziati di ETH EXCLAIM e con il progetto Earth-2 di NVIDIA per creare un’infrastruttura che spingerà ai limiti tutte le dimensioni dell’analisi dei big data e del calcolo ad estrema scala”, ha detto Thomas Schultess, direttore del Swiss National Supercomputing Centre, sul lavoro del supercomputer Alps.

“Ci sono davvero notevoli miglioramenti dell’efficienza energetica in tutte le nostre soluzioni”, ha detto Dan Stanzione, direttore esecutivo del TACC, riguardo a Vista.

È “davvero il trampolino di lancio per spostare gli utenti dai tipi di sistemi che abbiamo utilizzato in passato a questa nuova combinazione strettamente accoppiata della CPU Grace Arm e della GPU Hopper e… stiamo cercando di scalare di circa un fattore di 10 o 15 rispetto a quello che stiamo implementando con Vista quando implementeremo Horizon tra un paio di anni”, ha detto.

Accelerare il viaggio quantistico

I ricercatori stanno anche utilizzando i sistemi accelerati di oggi per aprire la strada ai supercomputer di domani.

In Germania, JUPITER “rivoluzionerà la ricerca scientifica in diversi ambiti come il clima, i materiali, la scoperta di farmaci e il calcolo quantistico”, ha detto Kristel Michelson, che guida il gruppo di ricerca di Julich sul processamento delle informazioni quantistiche.

“L’architettura di JUPITER consente anche l’integrazione senza soluzione di continuità di algoritmi quantistici con algoritmi HPC paralleli, ed è obbligatoria per le efficaci simulazioni ibride di quantum HPC”, ha detto.

CUDA Quantum per spingere in avanti il progresso

L’indirizzo speciale ha anche mostrato come NVIDIA CUDA Quantum – una piattaforma per la programmazione di CPU, GPU e computer quantistici, noti anche come QPUs – stia facendo avanzare la ricerca nel campo del calcolo quantistico.

Ad esempio, i ricercatori presso BASF, la più grande azienda chimica del mondo, hanno sviluppato un nuovo metodo ibrido quantistico-classico per la simulazione di sostanze chimiche che possono proteggere gli esseri umani contro metalli nocivi. Si uniscono ai ricercatori del Brookhaven National Laboratory e di HPE che stanno spingendo avanti i confini della scienza con CUDA Quantum.

NVIDIA ha anche annunciato una collaborazione con Classiq, una società che sviluppa strumenti di programmazione quantistica, per creare un centro di ricerca sulle scienze della vita presso il Tel Aviv Sourasky Medical Center, il più grande ospedale universitario di Israele. Il centro utilizzerà il software di Classiq e CUDA Quantum in esecuzione su un sistema NVIDIA DGX H100.

Singolarmente, Quantum Machines installerà il primo sistema NVIDIA DGX Quantum, un sistema che utilizza i chip superconduttori Grace Hopper, presso il Centro Nazionale Israeliano per la Quantum Computing, che mira a promuovere progressi in molti campi scientifici. Il sistema DGX sarà collegato a un QPU superconduttore di Quantware e a un QPU fotonico di ORCA Computing, entrambi alimentati da CUDA Quantum.

Loghi dei partner di NVIDIA CUDA Quantum

“In soli due anni, la nostra piattaforma di quantum computing NVIDIA ha raccolto oltre 120 partner [sopra], testimonianza della sua piattaforma aperta e innovativa”, ha dichiarato Buck.

Nel complesso, il lavoro in molti campi del progresso rivela una nuova tendenza che combina il calcolo accelerato a scala dei data center con l’innovazione a stack completo di NVIDIA.

“Il calcolo accelerato sta aprendo la strada a un calcolo sostenibile con progressi che forniscono non solo una tecnologia straordinaria, ma anche un futuro più sostenibile e di maggiore impatto”, ha concluso.

Guarda l’indirizzo speciale SC23 di NVIDIA qui sotto.