Hugging Face e IBM si sono uniti su watsonx.ai, lo studio aziendale di prossima generazione per i creatori di intelligenza artificiale.

Hugging Face e IBM collaborano su watsonx.ai, uno studio aziendale avanzato per sviluppatori di intelligenza artificiale.

Tutto l’hype a parte, è difficile negare l’impatto profondo che l’IA sta avendo sulla società e sulle aziende. Dalle startup alle grandi imprese al settore pubblico, ogni cliente con cui parliamo si sta impegnando a sperimentare con grandi modelli di linguaggio e IA generativa, individuando i casi d’uso più promettenti e portandoli gradualmente in produzione.

Il commento numero 1 che riceviamo dai clienti è che nessun singolo modello li governerà tutti. Capiscono il valore di costruire il miglior modello per ogni caso d’uso per massimizzare la sua rilevanza sui dati aziendali, ottimizzando al contempo il budget di calcolo. Naturalmente, la privacy e la proprietà intellettuale sono anche preoccupazioni principali, e i clienti vogliono garantire di mantenere il completo controllo.

Man mano che l’IA si fa strada in ogni dipartimento e unità aziendale, i clienti si rendono anche conto della necessità di addestrare e implementare molti modelli diversi. In un’organizzazione multinazionale di grandi dimensioni, ciò potrebbe significare eseguire centinaia, persino migliaia, di modelli contemporaneamente. Date le velocità di innovazione dell’IA, le nuove architetture di modelli ad alte prestazioni porteranno anche i clienti a sostituire i loro modelli più velocemente del previsto, rafforzando la necessità di addestrare e implementare nuovi modelli in produzione in modo rapido e senza problemi.

• Hugging Face collabora con Microsoft per lanciare il Catalogo dei Modelli di Hugging Face su Azure.
• Rendendo LLMs ancora più accessibili con bitsandbytes, quantizzazione a 4 bit e QLoRA
• Presentazione dell’integrazione di BERTopic con Hugging Face Hub

Tutto ciò avverrà solo con la standardizzazione e l’automazione. Le organizzazioni non possono permettersi di costruire modelli, strumenti e infrastrutture da zero per nuovi progetti. Fortunatamente, gli ultimi anni hanno visto alcuni sviluppi molto positivi:

1. Standardizzazione dei modelli: l’architettura Transformer è ora lo standard de facto per le applicazioni di Deep Learning come l’elaborazione del linguaggio naturale, la visione artificiale, l’audio, il riconoscimento del parlato e altro ancora. Ora è più facile costruire strumenti e flussi di lavoro che funzionano bene in molti casi d’uso.
2. Modelli pre-addestrati: centinaia di migliaia di modelli pre-addestrati sono a pochi clic di distanza. Puoi scoprirli e testarli direttamente su Hugging Face e selezionare rapidamente quelli più promettenti per i tuoi progetti.
3. Librerie open-source: le librerie Hugging Face ti consentono di scaricare modelli pre-addestrati con una sola riga di codice e puoi iniziare a sperimentare con i tuoi dati in pochi minuti. Dall’addestramento all’implementazione all’ottimizzazione dell’hardware, i clienti possono fare affidamento su un insieme coerente di strumenti guidati dalla comunità che funzionano allo stesso modo ovunque, dai loro laptop all’ambiente di produzione.

Inoltre, le nostre partnership cloud consentono ai clienti di utilizzare modelli e librerie Hugging Face a qualsiasi scala, senza preoccuparsi di fornire infrastrutture e creare ambienti tecnici. Ciò rende molto più facile mettere in produzione modelli di alta qualità in modo rapido senza dover reinventare la ruota.

Dopo la nostra collaborazione con AWS su Amazon SageMaker e Microsoft su Azure Machine Learning, siamo entusiasti di lavorare con nientemeno che IBM sul loro nuovo studio di intelligenza artificiale, watsonx.ai. watsonx.ai è lo studio aziendale di prossima generazione per gli sviluppatori di IA per addestrare, convalidare, ottimizzare e implementare sia l’IA tradizionale che le nuove capacità di IA generativa, basate su modelli fondamentali.

IBM ha deciso che l’open source dovrebbe essere al centro di watsonx.ai. Non potremmo essere più d’accordo! Costruito su RedHat OpenShift, watsonx.ai sarà disponibile in cloud e on-premise. Questa è un’ottima notizia per i clienti che non possono utilizzare il cloud a causa di rigorose norme di conformità o che preferiscono lavorare con i loro dati riservati sulla propria infrastruttura. Fino ad oggi, questi clienti dovevano spesso costruire la propria piattaforma di ML interna. Ora hanno un’alternativa open source pronta all’uso, implementata e gestita utilizzando gli strumenti standard DevOps.

Sotto il cofano, watsonx.ai integra anche molte librerie open-source di Hugging Face, come transformers (con oltre 100.000 stelle su GitHub!), accelerate, peft e il nostro server di inferenza per la generazione di testo, per citarne alcuni. Siamo felici di collaborare con IBM e di collaborare sulla piattaforma AI e data di watsonx in modo che i clienti di Hugging Face possano lavorare nativamente con i loro modelli e dataset di Hugging Face per moltiplicare l’impatto dell’IA sulle aziende.

Inoltre, IBM ha sviluppato la propria collezione di Large Language Models, e lavoreremo con il loro team per renderli open source e renderli facilmente disponibili nell’Hugging Face Hub.

Per saperne di più, guarda il Dr. Darío Gil, SVP e Direttore di IBM Research, e il nostro CEO Clem Delangue, annunciare la nostra collaborazione, presentare la piattaforma watsonx e presentare la suite di Large Language Models di IBM in una presentazione chiave di IBM THINK 2023.

Il nostro team congiunto sta lavorando duramente in questo momento. Non vediamo l’ora di mostrarti cosa abbiamo fatto! L’azienda più iconica del settore tecnologico si unisce a una startup emergente per affrontare l’IA nell’azienda… chi l’avrebbe mai detto?

Tempi affascinanti. Resta sintonizzato!