NVIDIA espande la piattaforma di robotica per affrontare l’aumento dell’IA generativa

NVIDIA amplia la piattaforma di robotica per fronteggiare la crescente IA generativa

I modelli AI generativi potenti e le API e i microservizi nativi del cloud stanno arrivando al limite.

L’AI generativo sta portando la potenza dei modelli di trasformatori e dei grandi modelli di linguaggio praticamente in ogni settore. Ora questa portata include anche aree che coinvolgono il limite, i sistemi robotici e logistici: rilevamento dei difetti, tracciamento degli asset in tempo reale, pianificazione e navigazione autonome, interazioni uomo-robot e altro ancora.

Oggi NVIDIA ha annunciato importanti espansioni a due framework sulla piattaforma NVIDIA Jetson per l’IA di edge e la robotica: il framework di robotica NVIDIA Isaac ROS è stato reso disponibile al pubblico, e la prossima espansione di NVIDIA Metropolis su Jetson è in arrivo.

Per accelerare lo sviluppo e la distribuzione di applicazioni di intelligenza artificiale al limite, NVIDIA ha creato anche un Jetson Generative AI Lab per gli sviluppatori, da utilizzare con i più recenti modelli generativi di intelligenza artificiale open source.

• Lo stato attuale dell’apprendimento continuo nell’AI
• La mano bionica si integra con i nervi, le ossa e i muscoli della donna.
• Esplorazione delle 7 Tecnologie Quantistiche Emergenti (2024)

Oltre 1,2 milioni di sviluppatori e oltre 10.000 clienti hanno scelto l’AI di NVIDIA e la piattaforma Jetson, tra cui Amazon Web Services, Cisco, John Deere, Medtronic, Pepsico e Siemens.

Con il panorama dell’IA in continua evoluzione che si occupa di scenari sempre più complessi, gli sviluppatori sono sfidati da cicli di sviluppo più lunghi per costruire applicazioni di intelligenza artificiale al limite. Riprogrammare robot e sistemi di intelligenza artificiale al volo per soddisfare ambienti in continua evoluzione, linee di produzione e bisogni di automazione dei clienti richiede tempo e competenze esperte.

L’AI generativo offre l’apprendimento senza casi – la capacità per un modello di riconoscere cose specificamente mai viste prima durante l’allenamento – con un’interfaccia di linguaggio naturale per semplificare lo sviluppo, la distribuzione e la gestione dell’IA al limite.

Trasformazione del panorama dell’IA

L’IA generativa migliora notevolmente la facilità d’uso comprendendo le indicazioni del linguaggio umano per apportare modifiche al modello. Quei modelli di intelligenza artificiale sono più flessibili nel rilevamento, segmentazione, tracciamento, ricerca e anche riprogrammazione – e aiutano a superare i modelli tradizionali basati su reti neurali convoluzionali.

L’IA generativa si prevede di aggiungere 10,5 miliardi di dollari di ricavi alle operazioni manifatturiere in tutto il mondo entro il 2033, secondo ABI Research.

“L’IA generativa accelererà significativamente le implementazioni di IA al limite con una migliore generalizzazione, facilità d’uso e maggiore precisione rispetto a quanto precedentemente possibile”, ha affermato Deepu Talla, vicepresidente dell’elaborazione incorporata e periferica presso NVIDIA. “Questa espansione del software più ampia di sempre dei nostri framework Metropolis e Isaac su Jetson, combinata con la potenza dei modelli di trasformatori e dell’IA generativa, soddisfa questa esigenza”.

Sviluppare con l’IA generativa al limite

Il Jetson Generative AI Lab fornisce agli sviluppatori accesso a strumenti e tutorial ottimizzati per la distribuzione di LLM open source, modelli di diffusione per generare immagini interattive sorprendenti, modelli di linguaggio visivo (VLM) e trasformatori di visione (ViTs) che combinano l’IA visiva e l’elaborazione del linguaggio naturale per fornire una comprensione approfondita della scena.

Gli sviluppatori possono anche utilizzare il NVIDIA TAO Toolkit per creare modelli di intelligenza artificiale efficienti e accurati per le applicazioni di edge. TAO fornisce un’interfaccia a basso codice per perfezionare e ottimizzare i modelli di intelligenza artificiale visiva, inclusi ViT e modelli fondamentali di visione. Possono anche personalizzare e perfezionare modelli fondamentali come NVIDIA NV-DINOv2 o modelli pubblici come OpenCLIP per creare modelli di intelligenza artificiale visiva altamente accurati con pochi dati. TAO include ora anche VisualChangeNet, un nuovo modello basato su trasformatori per l’ispezione dei difetti.

Approfittare dei nuovi framework Metropolis e Isaac

NVIDIA Metropolis rende più facile ed economico per le aziende adottare soluzioni abilitate all’IA visiva di classe mondiale per migliorare l’efficienza operativa e risolvere problemi di sicurezza critici. La piattaforma fornisce una serie di potenti interfacce di programmazione delle applicazioni e microservizi per permettere agli sviluppatori di sviluppare rapidamente applicazioni complesse basate sulla visione.

Oltre 1.000 aziende, tra cui BMW Group, Pepsico, Kroger, Tyson Foods, Infosys e Siemens, stanno utilizzando gli strumenti per sviluppatori NVIDIA Metropolis per risolvere i problemi legati all’Internet delle cose, all’elaborazione dei sensori e alle sfide operative con l’AI visione – e il tasso di adozione si sta accelerando. Gli strumenti sono stati scaricati oltre 1 milione di volte da coloro che cercano di sviluppare applicazioni di intelligenza artificiale visiva.

Per aiutare gli sviluppatori a creare e distribuire rapidamente applicazioni avanzate di AI visione scalabili, un set ampliato di API Metropolis e microservizi su NVIDIA Jetson sarà disponibile entro la fine dell’anno.

Oltre un centinaio di clienti utilizzano la piattaforma NVIDIA Isaac per sviluppare soluzioni robotiche ad alta performance in diversi settori, tra cui l’agricoltura, l’automazione dei magazzini, la consegna dell’ultimo miglio e la robotica di servizio, tra gli altri.

Al ROSCon 2023, NVIDIA ha annunciato miglioramenti significativi alle capacità di percezione e simulazione con le nuove versioni del software Isaac ROS e Isaac Sim. Basato sul sistema operativo robotico open-source (ROS) ampiamente adottato, Isaac ROS conferisce percezione all’automazione, dando occhi e orecchie alle cose che si muovono. Sfruttando la potenza delle GPU accelerate GEMs, tra cui l’odomotria visiva, la percezione della profondità, la ricostruzione della scena 3D, la localizzazione e la pianificazione, gli sviluppatori di robotica ottengono gli strumenti necessari per progettare rapidamente soluzioni robotiche adatte a una gamma diversificata di applicazioni.

Isaac ROS ha raggiunto uno stato di produzione con la versione più recente di Isaac ROS 2.0, consentendo agli sviluppatori di creare e portare sul mercato soluzioni robotiche ad alte prestazioni con Jetson.

“ROS continua a crescere ed evolversi per fornire software open-source per tutta la community della robotica”, ha affermato Geoff Biggs, CTO della Open Source Robotics Foundation. “I nuovi pacchetti ROS 2 preconfigurati di NVIDIA, lanciati con questa versione, accelereranno tale crescita mettendo ROS 2 a disposizione dell’ampia community di sviluppatori NVIDIA Jetson”.

Offrire nuovi flussi di lavoro AI di riferimento

Sviluppare una soluzione AI pronta per la produzione implica ottimizzare lo sviluppo e l’addestramento di modelli AI adatti a casi d’uso specifici, implementare funzionalità di sicurezza robuste sulla piattaforma, orchestrare l’applicazione, gestire flotte, stabilire una comunicazione senza soluzione di continuità tra periferia e cloud e molto altro.

NVIDIA ha annunciato una collezione curata di flussi di lavoro AI di riferimento basati su Metropolis e framework Isaac che consentono agli sviluppatori di adottare rapidamente l’intero flusso di lavoro o integrare selettivamente componenti individuali, con una notevole riduzione sia dei tempi di sviluppo che dei costi. I tre flussi di lavoro AI distinti includono: Network Video Recording, Automatic Optical Inspection e Autonomous Mobile Robot.

“NVIDIA Jetson, con la sua vasta e diversificata base di utenti e l’ecosistema di partner, ha contribuito a guidare una rivoluzione nella robotica e nell’AI su campo”, ha dichiarato Jim McGregor, analista principale presso Tirias Research. “Man mano che i requisiti delle applicazioni diventano sempre più complessi, abbiamo bisogno di un cambiamento fondamentale verso piattaforme che semplifichino e accelerino la creazione di distribuzioni sul campo. Questa significativa espansione del software da parte di NVIDIA fornisce agli sviluppatori accesso a nuovi modelli multisenso e a capacità di AI generativa”.

Novità in arrivo

NVIDIA ha annunciato una serie di servizi di sistema che sono capacità fondamentali che ogni sviluppatore richiede durante la creazione di soluzioni AI su campo. Questi servizi semplificheranno l’integrazione nei flussi di lavoro e risparmieranno agli sviluppatori il duro compito di costruirli da zero.

La nuova NVIDIA JetPack 6, prevista per essere disponibile entro la fine dell’anno, consentirà agli sviluppatori di AI di rimanere all’avanguardia del calcolo senza la necessità di un aggiornamento completo di Jetson Linux, accelerando notevolmente i tempi di sviluppo e liberandoli dalle dipendenze di Jetson Linux. JetPack 6 utilizzerà anche gli sforzi collaborativi con partner di distribuzione Linux per ampliare l’orizzonte delle scelte delle distribuzioni basate su Linux, inclusi Canonical’s Optimized and Certified Ubuntu, Wind River Linux, Concurrent Real-Time Redhawk Linux e varie distribuzioni basate su Yocto.

Vantaggi dell’ecosistema di partner dalla piena espansione della piattaforma

L’ecosistema di partner Jetson fornisce un’ampia gamma di supporto, dall’hardware, al software AI e servizi di progettazione di applicazioni, ai sensori, alla connettività e agli strumenti per sviluppatori. Questi innovatori del NVIDIA Partner Network svolgono un ruolo vitale fornendo i mattoni e i sottosistemi per molti prodotti venduti sul mercato.

L’ultima versione consente ai partner di Jetson di accelerare il loro tempo di commercializzazione e ampliare la loro base clienti adottando l’IA con prestazioni e funzionalità migliorate.

I partner fornitori di software indipendenti saranno inoltre in grado di ampliare le loro offerte per Jetson.

Unisciti a noi martedì 7 novembre alle 9.00 PT per il webinar Portare l’IA generativa alla vita con NVIDIA Jetson, dove gli esperti tecnici approfondiranno le novità annunciate qui, tra cui API accelerate e metodi di quantizzazione per il dispiegamento di LLMs e VLMs su Jetson, ottimizzazione dei trasformatori di visione con TensorRT e altro ancora.

Iscriviti qui per l’accesso anticipato a NVIDIA Metropolis.