Hugging Face e Graphcore si uniscono per i Transformers ottimizzati per IPU

'Hugging Face e Graphcore si uniscono per i Transformers IPU-ottimizzati.'

Parlando al Summit AI Hardware 2021, Hugging Face ha annunciato il lancio del loro nuovo programma di partnership hardware, che includono modelli ottimizzati per dispositivi e integrazioni software. Qui, Graphcore – creatori dell’Unità di Elaborazione dell’Intelligenza (IPU) e membro fondatore del programma – spiegano come la loro partnership con Hugging Face permetterà agli sviluppatori di accelerare facilmente l’utilizzo dei loro modelli Transformer all’avanguardia.

Graphcore e Hugging Face sono due aziende con un obiettivo comune: rendere più facile per gli innovatori sfruttare il potere dell’intelligenza artificiale.

Il programma di partnership hardware di Hugging Face permetterà agli sviluppatori che utilizzano i sistemi di Graphcore di implementare modelli Transformer all’avanguardia, ottimizzati per la nostra Unità di Elaborazione dell’Intelligenza (IPU), a scala di produzione, con un minimo grado di complessità nella scrittura del codice.

Cos’è un’Unità di Elaborazione dell’Intelligenza?

Le IPU sono i processori che alimentano i sistemi di calcolo IPU-POD di Graphcore nei data center. Questo nuovo tipo di processore è progettato per supportare i requisiti computazionali molto specifici dell’intelligenza artificiale e del machine learning. Caratteristiche come il parallelismo a grana fine, l’aritmetica a bassa precisione e la capacità di gestire la sparsità sono state integrate nel nostro silicio.

Al contrario dell’architettura SIMD/SIMT delle GPU, l’IPU di Graphcore utilizza un’architettura MIMD massivamente parallela, con una memoria ad altissima larghezza di banda posizionata accanto ai core del processore, direttamente sul die di silicio.

• Estate a Hugging Face
• Ottimizzazione avanzata di CLIP con immagini e didascalie di telerilevamento (satellitari)
• Scaling up BERT-like model Inference on modern CPU – Parte 2

Questa progettazione offre alte prestazioni e nuovi livelli di efficienza, sia che si eseguano i modelli più popolari di oggi, come BERT ed EfficientNet, sia che si esplorino applicazioni avanzate di intelligenza artificiale di prossima generazione.

Il software svolge un ruolo fondamentale per sbloccare le capacità dell’IPU. Il nostro SDK Poplar è stato co-progettato con il processore fin dalla fondazione di Graphcore. Oggi si integra completamente con i principali framework di machine learning, tra cui PyTorch e TensorFlow, così come con strumenti di orchestrazione e distribuzione come Docker e Kubernetes.

Rendere Poplar compatibile con questi sistemi di terze parti ampiamente utilizzati consente agli sviluppatori di portare facilmente i loro modelli dai loro altri platform di calcolo e iniziare a sfruttare le avanzate capacità di intelligenza artificiale dell’IPU.

Ottimizzazione dei Transformers per la produzione

I Transformers hanno completamente trasformato (gioco di parole inteso) il campo dell’intelligenza artificiale. Modelli come BERT sono ampiamente utilizzati dai clienti di Graphcore in una vasta gamma di applicazioni, sia nell’ambito dell’NLP che in altri campi. Questi modelli multitalento possono svolgere attività come l’estrazione delle caratteristiche, la generazione di testo, l’analisi dei sentimenti, la traduzione e molte altre.

Già oggi, Hugging Face ospita centinaia di Transformers, dal CamemBERT in lingua francese al ViT che applica le lezioni apprese nell’NLP alla visione artificiale. La libreria Transformers viene scaricata in media due milioni di volte al mese e la domanda è in crescita.

Con una base di utenti di più di 50.000 sviluppatori, Hugging Face ha visto la più rapida adozione di un progetto open-source di sempre.

Ora, con il suo programma di partnership hardware, Hugging Face sta collegando l’insieme di strumenti Transformer definitivo con l’hardware AI più avanzato di oggi.

Utilizzando Optimum, una nuova libreria e toolkit open-source, gli sviluppatori saranno in grado di accedere a modelli ottimizzati per l’hardware certificati da Hugging Face.

Questi modelli sono sviluppati in collaborazione tra Graphcore e Hugging Face, e i primi modelli ottimizzati per l’IPU appariranno su Optimum entro la fine dell’anno. Alla fine, copriranno una vasta gamma di applicazioni, dalla visione e il riconoscimento del parlato alla traduzione e la generazione di testo.

Clément Delangue, CEO di Hugging Face, ha dichiarato: “Gli sviluppatori vogliono tutti accedere all’hardware più recente e potente, come l’IPU di Graphcore, ma c’è sempre la domanda se dovranno imparare un nuovo codice o nuovi processi. Con Optimum e il programma di partnership hardware di Hugging Face, questo non è più un problema. Funziona praticamente in plug-and-play”.

Modelli SOTA incontrano Hardware SOTA

Prima dell’annuncio della partnership con Hugging Face, abbiamo dimostrato il potere dell’IPU nell’accelerare modelli Transformer all’avanguardia con un’implementazione speciale ottimizzata da Graphcore di Hugging Face BERT utilizzando PyTorch.

Tutti i dettagli completi di questo esempio possono essere trovati nel blog di Graphcore “BERT-Large training on the IPU explained”.

I risultati di benchmark impressionanti per BERT che viene eseguito su un sistema Graphcore, confrontato con un sistema comparabile basato su GPU, sono sicuramente una prospettiva allettante per chiunque stia attualmente eseguendo il popolare modello NLP su qualcosa diverso dall’IPU.

Questo tipo di accelerazione può cambiare il gioco per i ricercatori e gli ingegneri di apprendimento automatico, consentendo loro di recuperare preziose ore di tempo di allenamento e di effettuare molte più iterazioni nello sviluppo di nuovi modelli.

Ora gli utenti di Graphcore saranno in grado di sbloccare tali vantaggi prestazionali attraverso la piattaforma Hugging Face, con la sua elegante semplicità e la sua eccezionale gamma di modelli.

Insieme, Hugging Face e Graphcore stanno aiutando ancora più persone ad accedere al potere dei Transformers e ad accelerare la rivoluzione dell’IA.

Visita il portale dei partner hardware di Hugging Face per saperne di più sui sistemi Graphcore IPU e su come ottenere l’accesso.