Nuove istanze di GPU tensoriali NVIDIA H100, H200 in arrivo su Microsoft Azure per accelerare i carichi di lavoro dell’intelligenza artificiale

Arrivano su Microsoft Azure le nuove GPU tensoriali NVIDIA H100 e H200 per potenziare i carichi di lavoro dell'intelligenza artificiale

Man mano che NVIDIA continua a collaborare con Microsoft per costruire un’infrastruttura AI all’avanguardia, Microsoft sta introducendo ulteriori macchine virtuali basate su H100 in Microsoft Azure per accelerare i workload AI esigenti.

Alla sua conferenza Ignite a Seattle oggi, Microsoft ha annunciato la sua nuova serie di macchine virtuali NC H100 v5 per Azure, le prime istanze cloud del settore con GPU NVIDIA H100 NVL.

Questa offerta unisce una coppia di GPU H100 basate su PCIe collegate tramite NVIDIA NVLink, con quasi 4 petaflops di calcolo AI e 188 GB di memoria HBM3 più veloce. La GPU NVIDIA H100 NVL può offrire prestazioni fino a 12 volte superiori su GPT-3 175B rispetto alla generazione precedente ed è ideale per i workload di inferenza e addestramento di base.

Inoltre, Microsoft ha annunciato piani per aggiungere la GPU Tensor Core NVIDIA H200 alla flotta di Azure l’anno prossimo per supportare l’inferenza di modelli più grandi senza aumento della latenza. Questa nuova offerta è progettata per accelerare i workload AI più grandi, inclusi LLMs e modelli generativi AI.

La GPU H200 porta aumenti significativi sia nella capacità di memoria che nella larghezza di banda utilizzando la memoria di ultima generazione HBM3e. Rispetto all’H100, questa nuova GPU offrirà 141 GB di memoria HBM3e (1,8 volte di più) e 4,8 TB/s di larghezza di banda massima di memoria (un incremento del 1,4 volte).

Il Computing Cloud diventa Confidenziale

Per ampliare ulteriormente la disponibilità del computing generativo AI accelerato da NVIDIA per i clienti di Azure, Microsoft ha annunciato un’altra istanza alimentata da NVIDIA: l’NCC H100 v5.

Queste VM confidenziali Azure con GPU Tensor Core NVIDIA H100 permettono ai clienti di proteggere la riservatezza e l’integrità dei loro dati e applicazioni in uso, in memoria, mentre accedono all’incredibile accelerazione delle GPU H100. Queste VM confidenziali potenziate da GPU saranno presto disponibili in anteprima privata.

Per saperne di più sulle nuove VM confidenziali con GPU Tensor Core NVIDIA H100 e per iscriversi alla versione di anteprima, leggere il blog.

Per saperne di più sulle istanze di Azure alimentate da NVIDIA, visitare la pagina delle informazioni sulle VM GPU.