Oracle Cloud Infrastructure offre nuove istanze di calcolo accelerate da GPU NVIDIA

Oracle Cloud Infrastructure offre istanze di calcolo GPU accelerate da NVIDIA

Con l’intelligenza artificiale generativa e i modelli di linguaggio di grandi dimensioni (LLM) che guidano innovazioni rivoluzionarie, le esigenze computazionali per l’addestramento e l’inferenza stanno aumentando vertiginosamente.

Queste applicazioni di intelligenza artificiale generativa moderne richiedono un’elaborazione accelerata full-stack, a partire da un’infrastruttura all’avanguardia in grado di gestire carichi di lavoro massicci con velocità e precisione. Per aiutare a soddisfare questa esigenza, Oracle Cloud Infrastructure ha annunciato oggi la disponibilità generale delle GPU NVIDIA H100 Tensor Core su OCI Compute, con le GPU NVIDIA L40S in arrivo a breve.

Istanza di GPU Tensor Core NVIDIA H100 su OCI

Le istanze bare-metal di OCI Compute con GPU NVIDIA H100, alimentate dall’architettura NVIDIA Hopper, consentono un salto di un ordine di grandezza per l’intelligenza artificiale su larga scala e l’elaborazione ad alte prestazioni, con prestazioni, scalabilità e versatilità senza precedenti per ogni carico di lavoro.

Le organizzazioni che utilizzano le GPU NVIDIA H100 ottengono fino a un aumento di 30 volte delle prestazioni di inferenza AI e un aumento di 4 volte dell’addestramento AI rispetto all’utilizzo della GPU NVIDIA A100 Tensor Core. La GPU H100 è progettata per compiti di calcolo intensivo delle risorse, inclusi l’addestramento di LLM e l’inferenza durante l’esecuzione.

La forma BM.GPU.H100.8 di OCI Compute include otto GPU NVIDIA H100, ciascuna con 80 GB di memoria GPU HBM2. Tra le otto GPU, 3,2 TB/s di larghezza di banda bisezionale consentono a ciascuna GPU di comunicare direttamente con tutte le altre sette GPU tramite la tecnologia NVIDIA NVSwitch e NVLink 4.0. La forma include 16 unità NVMe locali con una capacità di 3,84 TB ciascuna e include anche processori CPU Intel Xeon di 4a generazione con 112 core, nonché 2 TB di memoria di sistema.

In poche parole, questa forma è ottimizzata per i carichi di lavoro più impegnativi delle organizzazioni.

A seconda dei tempi e delle dimensioni dei carichi di lavoro, OCI Supercluster consente alle organizzazioni di scalare l’utilizzo delle GPU NVIDIA H100 da un singolo nodo fino a decine di migliaia di GPU H100 su una rete ad alte prestazioni e a latenza ultra bassa.

Istanza di GPU NVIDIA L40S su OCI

La GPU NVIDIA L40S, basata sull’architettura NVIDIA Ada Lovelace, è una GPU universale per il data center che offre un’accelerazione rivoluzionaria per l’elaborazione multi-carico di inferenze e addestramento LLM, l’elaborazione visiva e le applicazioni video. Le istanze bare-metal di OCI Compute con GPU NVIDIA L40S saranno disponibili per l’accesso anticipato entro la fine dell’anno, con la disponibilità generale prevista per l’inizio del 2024.

Queste istanze offriranno un’alternativa alle istanze GPU NVIDIA H100 e A100 per affrontare carichi di lavoro di intelligenza artificiale di dimensioni ridotte o medie, nonché per compiti di elaborazione grafica e video. La GPU NVIDIA L40S raggiunge fino al 20% di aumento delle prestazioni per carichi di lavoro di intelligenza artificiale generativa e fino al 70% di miglioramento nel perfezionamento dei modelli di intelligenza artificiale rispetto alla GPU NVIDIA A100.

La forma BM.GPU.L40S.4 di OCI Compute include quattro GPU NVIDIA L40S, insieme all’ultima generazione di processori Intel Xeon con fino a 112 core, 1 TB di memoria di sistema, 15,36 TB di storage NVMe a bassa latenza per la memorizzazione nella cache dei dati e 400 GB/s di larghezza di banda di rete del cluster. Questa istanza è stata creata per affrontare una vasta gamma di casi d’uso, dall’addestramento, perfezionamento e inferenza di LLM, ai carichi di lavoro NVIDIA Omniverse e alla digitalizzazione industriale, grafica 3D e rendering, transcodifica video e HPC FP32.

NVIDIA e OCI: Enterprise AI

Questa collaborazione tra OCI e NVIDIA consentirà a organizzazioni di tutte le dimensioni di unirsi alla rivoluzione dell’intelligenza artificiale generativa fornendo loro un’infrastruttura di accelerazione GPU NVIDIA H100 e L40S all’avanguardia.

Tuttavia, l’accesso alle istanze NVIDIA GPU-accelerate potrebbe non essere sufficiente. Sbloccare il massimo potenziale delle GPU NVIDIA su OCI Compute significa avere uno strato software ottimale. NVIDIA AI Enterprise semplifica lo sviluppo e il rilascio di software accelerato AI di livello enterprise con contenitori e framework open source ottimizzati per l’infrastruttura sottostante delle GPU NVIDIA, il tutto con l’aiuto dei servizi di supporto.

Per saperne di più, unisciti a NVIDIA presso Oracle Cloud World nel padiglione AI, partecipa a questa sessione sulle nuove istanze OCI mercoledì 20 settembre e visita queste pagine web su Oracle Cloud Infrastructure, OCI Compute, come Oracle si avvicina all’IA e la piattaforma AI di NVIDIA.