Hugging Face e AMD si sono uniti per accelerare modelli all’avanguardia per piattaforme CPU e GPU

Hugging Face e AMD si sono uniti per accelerare modelli avanzati su CPU e GPU.

Sia che si tratti di modelli di linguaggio, modelli di linguaggio di grandi dimensioni o modelli di base, i transformer richiedono un notevole calcolo per la preformazione, il raffinamento e l’infereza. Per aiutare gli sviluppatori e le organizzazioni a ottenere le migliori prestazioni con la propria infrastruttura, Hugging Face lavora da tempo con aziende di hardware per sfruttare le funzionalità di accelerazione presenti nei rispettivi chip.

Oggi siamo lieti di annunciare che AMD si è ufficialmente unito al nostro programma di partner hardware. Il nostro CEO Clement Delangue ha tenuto un discorso principale alla Data Center and AI Technology Premiere di AMD a San Francisco per lanciare questa nuova e entusiasmante collaborazione.

AMD e Hugging Face lavorano insieme per offrire prestazioni di ultima generazione dei transformer su CPU e GPU AMD. Questa partnership è una notizia eccellente per l’intera comunità di Hugging Face, che presto beneficerà delle ultime piattaforme AMD per la formazione e l’infereza.

La scelta dell’hardware per il deep learning è stata limitata per anni e i prezzi e la disponibilità sono preoccupazioni crescenti. Questa nuova partnership farà più di competere con gli altri e contribuirà a mitigare le dinamiche di mercato: si prevede che stabilisca anche nuovi standard di costo-prestazioni.

Piattaforme hardware supportate

Sul lato delle GPU, AMD e Hugging Face collaboreranno inizialmente sulle famiglie Instinct MI2xx e MI3xx di grado enterprise, e successivamente sulla famiglia Radeon Navi3x di grado cliente. In un test iniziale, AMD ha recentemente riportato che la MI250 addestra BERT-Large 1,2 volte più velocemente e GPT2-Large 1,4 volte più velocemente rispetto al suo diretto concorrente.

Sul lato delle CPU, le due aziende lavoreranno per ottimizzare l’infereza sia per le CPU client Ryzen che per le CPU server EPYC. Come discusso in diversi post precedenti, le CPU possono essere un’ottima opzione per l’infereza dei transformer, specialmente con tecniche di compressione del modello come la quantizzazione.

Infine, la collaborazione includerà l’acceleratore AI Alveo V70, che può offrire prestazioni incredibili con requisiti energetici inferiori.

Architetture e framework dei modelli supportati

Intendiamo supportare le architetture di transformer all’avanguardia per l’elaborazione del linguaggio naturale, la visione artificiale e la sintesi vocale, come BERT, DistilBERT, ROBERTA, Vision Transformer, CLIP e Wav2Vec2. Naturalmente, saranno disponibili anche modelli di intelligenza artificiale generativi (ad esempio, GPT2, GPT-NeoX, T5, OPT, LLaMA), tra cui i nostri modelli BLOOM e StarCoder. Infine, supporteremo anche modelli di visione artificiale più tradizionali, come ResNet e ResNext, e modelli di raccomandazione di deep learning, una novità per noi.

Faremo del nostro meglio per testare e convalidare questi modelli per PyTorch, TensorFlow e ONNX Runtime per le piattaforme sopra citate. Si ricorda che non tutti i modelli potrebbero essere disponibili per la formazione e l’infereza per tutti i framework o tutte le piattaforme hardware.

La strada da percorrere

Il nostro focus iniziale sarà garantire che i modelli più importanti per la nostra comunità funzionino perfettamente su piattaforme AMD. Lavoreremo a stretto contatto con il team di ingegneria di AMD per ottimizzare i modelli chiave al fine di offrire prestazioni ottimali grazie all’hardware e alle funzionalità software più recenti di AMD. Integreremo senza soluzione di continuità l’AMD ROCm SDK nelle nostre librerie open-source, a partire dalla libreria transformers.

Nel corso del lavoro, senza dubbio identificheremo opportunità per ottimizzare ulteriormente la formazione e l’infereza e lavoreremo a stretto contatto con AMD per capire dove investire al meglio in futuro attraverso questa partnership. Ci aspettiamo che questo lavoro porti alla creazione di una nuova libreria Optimum dedicata alle piattaforme AMD per aiutare gli utenti di Hugging Face a sfruttarle con cambiamenti minimi, se del caso.

Conclusione

Siamo entusiasti di lavorare con un’azienda di hardware di classe mondiale come AMD. L’open-source significa la libertà di costruire su una vasta gamma di soluzioni software e hardware. Grazie a questa partnership, gli utenti di Hugging Face avranno presto a disposizione nuove piattaforme hardware per la formazione e l’infereza con eccellenti benefici in termini di costo-prestazioni. Nel frattempo, vi invitiamo a visitare la pagina AMD sull’hub di Hugging Face. Rimanete sintonizzati!

Questo post è al 100% privo di ChatGPT.