Potenziare l’IA su dispositivo Qualcomm e Meta collaborano con la tecnologia Llama 2

Potenziare l'IA su dispositivo Qualcomm e Meta con tecnologia Llama 2

Il rilascio del nuovo Llama 2 open-source di Meta ha suscitato discussioni sulle possibili applicazioni dei grandi modelli di linguaggio (LLM). Tuttavia, l’accesso e l’esecuzione di Llama 2 su hardware locale rimane un ostacolo significativo per molti. Per affrontare questo problema e democratizzare l’accesso alla potenza di Llama 2, Meta si è associata a Qualcomm per ottimizzare il modello per l’uso su dispositivi, sfruttando i chip Snapdragon abilitati all’intelligenza artificiale di Qualcomm.

La collaborazione tra Meta e Qualcomm mira a consentire l’implementazione di Llama 2 sui dispositivi, sfruttando le capacità dei nuovi chip Snapdragon abilitati all’intelligenza artificiale. Eseguendo il modello sui dispositivi, gli sviluppatori possono ridurre i costi di elaborazione su cloud e fornire agli utenti una maggiore privacy, poiché nessun dato viene trasmesso a server esterni. L’elaborazione dell’intelligenza artificiale sui dispositivi consente anche l’utilizzo di AI generativa senza connessione a Internet e permette la personalizzazione dei modelli in base alle preferenze degli utenti.

Il processore Hexagon di Qualcomm equipaggia i chip Snapdragon con diverse capacità di intelligenza artificiale, tra cui inferenza a micro tegola, core tensoriali e elaborazione dedicata per SegNet, carichi di lavoro scalari e vettoriali. L’integrazione di Llama 2 nello stack di intelligenza artificiale di Qualcomm ottimizza ulteriormente l’esecuzione di modelli di intelligenza artificiale sui dispositivi.

• CatBoost Una soluzione per costruire modelli con dati categorici
• Microsoft rilascia TypeChat una libreria di intelligenza artificiale che semplifica la creazione di interfacce di linguaggio naturale utilizzando i tipi.
• Utilizza Stable Diffusion XL con Amazon SageMaker JumpStart in Amazon SageMaker Studio

Meta ha imparato dalla fuga del primo modello LLaMA, che inizialmente era disponibile solo per i ricercatori e le istituzioni accademiche. Tuttavia, la fuga su Internet ha portato a un’esplosione dell’innovazione di LLM open-source, dando luogo a varie versioni migliorate di LLaMA. La comunità open-source ha contribuito in modo significativo, creando versioni che possono essere eseguite su un dispositivo, rendendo così i LLM accessibili a un pubblico più vasto.

In risposta alla fuga, Meta ha adottato un approccio diverso con il rilascio di Llama 2, abbracciando l’apertura e la collaborazione. La partnership con Qualcomm fornisce al produttore di chip una conoscenza approfondita del funzionamento interno del modello, consentendo di ottimizzarlo per una migliore performance sui chip Snapdragon. Questa collaborazione è prevista in concomitanza con il lancio del chip Snapdragon 8 Gen 3 di Qualcomm nel 2024.

Si prevede che la comunità open-source giocherà anche un ruolo cruciale nello sviluppo di Llama 2. Combinando l’impulso dell’industria verso l’intelligenza artificiale sui dispositivi con l’ecosistema open LLM, questa mossa è considerata il primo di molti passi verso la promozione di un vivace ecosistema di intelligenza artificiale sui dispositivi.

Gli esperti prevedono che i LLM open potrebbero portare a una nuova generazione di generazione di contenuti basati sull’intelligenza artificiale, assistenti intelligenti, applicazioni di produttività e altro ancora. La capacità di eseguire nativamente i LLM sui dispositivi sblocca numerose possibilità per l’elaborazione dell’intelligenza artificiale sui dispositivi e supporta la crescente tendenza delle capacità di intelligenza artificiale sul campo, come dimostrato dall’inclusione di un motore neurale nel chip M1 di Apple e dal toolkit Hybrid AI Loop di Microsoft.

In generale, la partnership tra Meta e Qualcomm rappresenta un passo significativo verso la democratizzazione dell’accesso ai modelli di intelligenza artificiale, aprendo interessanti opportunità per gli sviluppatori di creare applicazioni basate sull’intelligenza artificiale e inaugurando una nuova era di un ecosistema di intelligenza artificiale sui dispositivi simile all’esplosione dello store delle app con gli iPhone.