Questa newsletter dell’IA è tutto ciò di cui hai bisogno #68

Questa newsletter dell'IA è tutto ciò di cui hai bisogno #68 - Il perfetto compagno per la bellezza e la moda

Cos’è successo questa settimana nell’AI secondo Louie

Questa settimana abbiamo assistito all’introduzione di LLaVA v1.5, un nuovo modello multimodale open-source che si presenta come un contendente contro GPT-4 con capacità multimodali. Utilizza una semplice matrice di proiezione per collegare l’encoder di visione CLIP ViT-L/14 pre-addestrato con Vicuna LLM, ottenendo un modello robusto in grado di gestire immagini e testo. Il modello viene addestrato in due fasi: prima, l’aggiornamento della matrice di proiezione basato su un sottoinsieme di CC3M per una migliore allineamento e poi, il fine-tuning dell’intero modello per due casi d’uso specifici, Visual Chat e Science QA, che hanno portato a una precisione all’avanguardia nel secondo benchmark.

Il modello, rilasciato insieme a una demo gratuita accessibile, ha attirato l’attenzione, principalmente per le sue impressionanti capacità multimodali. Gli utenti hanno condiviso la loro esperienza su diversi casi d’uso in cui il modello offre ricette alimentari basate sull’immagine del cibo, risolve i codici CAPTCHA, genera codici di interfaccia utente o identifica oggetti e animali. Il modello si comporta bene in tutti i compiti menzionati ed è un valido concorrente per GPT-4.

Siamo lieti di vedere un modello open-source nello spazio multimodale e ci aspettiamo che questo possa portare a esperimenti con molte nuove applicazioni. Aspettiamo ora un utilizzo più ampio del modello visionario GPT-4 e del tanto acclamato modello Google Gemini per vedere come si confrontano e cosa può essere costruito!

– Louie Peters — Co-fondatore e CEO di Towards AI

Il nostro corso di certificazione gratuito su Addestramento e Fine-tuning di LLM per la produzione è ora disponibile!

https://learn.activeloop.ai/courses/llms

Siamo entusiasti di annunciare il secondo corso di certificazione gratuito di Towards AI sull’Addestramento e Fine-tuning di LLM per la produzione in collaborazione con Activeloop e Intel Disruptor Initiative. In questo corso, affronterai le complessità dell’addestramento, del fine-tuning e dell’integrazione senza soluzione di continuità di questi modelli nei prodotti AI. Questo corso ti guiderà nella creazione di una stack AI all’avanguardia ed efficiente dal punto di vista dei costi per la preparazione di LLM per la produzione. Coprirà anche argomenti essenziali come modelli proprietari rispetto ai modelli open-source, varie metodologie di addestramento di LLM e strategie di implementazione nella produzione. Affronteremo anche tecniche avanzate di fine-tuning come LoRA, QLoRA, SFT e RLHF o l’addestramento di modelli personalizzati con Cohere. Con il supporto dei nostri partner Cohere e Lambda, i partecipanti idonei riceveranno crediti di calcolo per poter eseguire gli esempi da soli! I tutorial di circa 60 lezioni, con circa 10 progetti pratici approfonditi e nove video correlati, sono ora disponibili sulla pagina del corso.

Ultime notizie

1. Meta svela silenziosamente Llama 2 Long AI che supera GPT-3.5 Turbo e Claude 2 in alcuni compiti

Meta sta rilasciando Llama 2 Long, una versione migliorata di Llama 2 che ha subito un pre-addestramento continuo con sequenze di addestramento più lunghe e testi lunghi campionati. Aggiungendo 400 miliardi di token e apportando piccole modifiche all’incorporamento posizionale rotativo (RoPE), Llama 2 Long può ora occuparsi di sequenze di informazioni più lunghe e includere meno informazioni correlate nella base di conoscenza del suo modello.

2. Microsoft svelerà un chip AI interno, riducendo la dipendenza da NVIDIA

Microsoft pianifica di debuttare il suo primo chip di intelligenza artificiale il mese prossimo. Chiamato “Athena”, il chip potrebbe permettere a Microsoft di ridurre la dipendenza dalle GPU progettate da NVIDIA per l’accelerazione dell’IA nei data center.

3. OpenAI sta esplorando la creazione dei propri chip di intelligenza artificiale

OpenAI sta valutando lo sviluppo dei propri chip di intelligenza artificiale per ChatGPT a causa della carenza globale di processori per l’addestramento dei modelli di intelligenza artificiale. Questa mossa potrebbe aiutare a ridurre i costi operativi elevati di ChatGPT, attualmente di 700.000 dollari al giorno. La decisione di OpenAI potrebbe divergere da quella di Microsoft, loro partner, che sta lavorando anche ai propri chip di intelligenza artificiale.

4. Presentazione di Stable LM 3B: Portare modelli di linguaggio sostenibili e ad alte prestazioni sui dispositivi intelligenti

Stability AI ha introdotto Stable LM 3B, un modello di linguaggio ad alte prestazioni progettato per dispositivi intelligenti. Con 3 miliardi di parametri, supera i modelli 3B all’avanguardia e riduce i costi operativi e il consumo energetico. Il modello consente una gamma più ampia di dispositivi intelligenti, PC e applicazioni di elaborazione ai margini.

5. Replit AI per tutti

Replit sta rendendo disponibili gratuitamente le sue capacità di intelligenza artificiale a tutti i suoi oltre 23 milioni di utenti. Le funzionalità di completamento del codice e assistenza al codice sono ora abilitate per impostazione predefinita. Replit ha anche addestrato un nuovo modello, replit-code-v1.5-3b, per alimentare queste nuove funzionalità in questa grande distribuzione.

Cinque letture/video di 5 minuti per continuare a imparare

1. Attention Sinks in LLMs for Endless Fluency

L’attenzione con finestre e token di attenzione rappresenta una soluzione per mantenere la fluidità nei modelli di lingua di grandi dimensioni (LLM) basati su chat come Llama, Mistral, MPT, Falcon e GPT-NeoX (Pythia), che spesso lottano con le limitazioni di memoria. Questo metodo gestisce efficacemente i punteggi di attenzione e impedisce una perdita di fluidità quando il primo token esce dalla finestra durante l’attenzione con finestre.

2. Ottimizzazione dei modelli tramite Prompt-Tuning con la libreria PEFT di Hugging Face

Questo articolo esplora l’ottimizzazione tramite prompt tuning con la libreria PEFT di Hugging Face. Approfondisce la tecnica e le applicazioni e esamina un notebook contenente esempi di due modelli diversi.

3. Padronanza della segmentazione dei clienti con LLM

Questo articolo fornisce una guida completa sulla segmentazione dei clienti sfruttando i LLM. Copre tecniche come il clustering K-means, la libreria PyOD per il rilevamento degli outliers, il Metodo del Gomito e la visualizzazione della Silhouette per determinare i cluster ottimali, le metriche di valutazione e l’utilizzo di PCA, T-SNE e LLM per l’estrazione degli embedding di testo.

4. Rischi di sicurezza nell’ottimizzazione dei LLM

Questo documento evidenzia potenziali problemi di sicurezza durante la personalizzazione dei grandi modelli di linguaggio pre-addestrati come Llama di Meta e GPT-3.5 Turbo di OpenAI. Mentre le infrastrutture esistenti di allineamento della sicurezza possono limitare i comportamenti dannosi dei LLM durante l’infereza, non coprono i rischi di sicurezza quando i privilegi di ottimizzazione sono estesi agli utenti finali.

5. Il padrino dell’intelligenza artificiale Geoffrey Hinton sulle promesse e i rischi dell’IA avanzata

Geoffrey Hinton crede che i sistemi di intelligenza artificiale possano essere più intelligenti di quanto pensiamo e c’è la possibilità che le macchine possano prendere il controllo. Questo è un trascritto della sua conversazione sui rischi dell’IA, il futuro, l’IA senziente e altro ancora.

Articoli e Repository

1. Modelli di Linguaggio Streaming Efficienti con Sink di Attenzione

Ricercatori del MIT, Meta AI e Carnegie Mellon hanno sviluppato StreamingLLM, un framework che consente la modellizzazione del linguaggio di lunghezza infinita in LLM senza costose operazioni di fine-tuning. Questo approccio efficiente permette ai modelli come GPT-3 e PaLM di gestire contesti più lunghi di 4 milioni di token utilizzando token di sink di attenzione, migliorando significativamente le prestazioni.

2. Una Lunga Strada Da Percorrere: Indagine sulle Correlazioni di Lunghezza in RLHF

Questo articolo dimostra che ottimizzare la lunghezza della risposta è un fattore significativo dietro i miglioramenti riportati di RLHF in questi contesti. Esplora interventi per replicare tali miglioramenti senza aumentare la dimensione, ma l’efficacia varia.

3. Ricercatori di Meta e INRIA scoprono che i Registri Espliciti Eliminano Picchi di Attenzione in ViT

Ricercatori di Meta e INRIA hanno scoperto un nuovo approccio per affrontare i picchi di attenzione nei Transformer di Visione (ViT). L’introduzione di token di “registro” dedicati per lo storage temporaneo ha consentito mappe di attenzione più uniformi, migliorando le prestazioni downstream e le capacità di scoperta degli oggetti in ViT.

4. Miglioramenti correlati all’immagine con Tuning dell’Istruzione Visiva

I ricercatori hanno notevolmente migliorato il LLaVa multimodal LLM utilizzando CLIP-ViT-L-336px e la proiezione MLP. Integrando dati VQA orientati all’ambito accademico e prompt di risposta, il checkpoint finale di 13B ha ottenuto prestazioni notevoli su vari benchmark. Inoltre, richiede solo 1.2M dati pubblicamente disponibili e può essere completamente addestrato su un singolo nodo 8-A100 in solo un giorno.

5. Pensa Prima di Parlare: Addestramento dei Modelli Linguistici con Token di Pausa

Uno studio recente suggerisce che l’utilizzo di token di pausa nei modelli linguistici può consentire calcoli più approfonditi prima di generare il token successivo, migliorando le performance in compiti di ragionamento. Lo studio ha rilevato significativi guadagni di punteggio in compiti come rispondere a domande e ragionare.

Ti piacciono questi articoli e riepiloghi? Ricevi un riepilogo giornaliero nella tua casella di posta!

Sezione Comunità Impara l’AI Insieme!

Podcast Settimanale sull’AI

In questo episodio del podcast “What’s AI”, Louis Bouchard intervista l’incredibile Auxane Boch. Con un focus sull’etica dell’AI, questa puntata esplora il mondo dell’etica e della governance dell’IA con un esperto, approfondendo le pratiche di IA responsabili, il bilanciamento tra innovazione e regolamentazione e il ruolo dell’etica nello sviluppo e nella distribuzione dell’IA. Auxane condivide insight su come le aziende possono navigare in questo scenario, soprattutto con le imminenti regolamentazioni dell’UE. Ascolta l’episodio completo su YouTube o su la tua piattaforma di streaming preferita.

Meme della settimana!

Meme condiviso da rucha8062

Post della community in evidenza dal Discord

Dogecoin ha creato InfoGPT, un chatbot che può rispondere alle domande dai documenti. È costruito con Langchain, LlamaCPP, Streamlit, ChromaDB e Sentence Transformers. È compatibile con file PDF, TXT, CSV e DOCX. Dai un’occhiata su GitHub e supporta un membro della community! Condividi il tuo feedback e le tue contribuzioni nel thread qui.

Sondaggio AI della settimana!

Unisciti alla discussione su Discord.

Sezione selezionata TAI

Articolo della settimana

Reinforcement Learning: Function Approximation and Deep Q-Networks — Parte 4 di Tan Pengshi Alvin

Questo articolo esplorerà due tipi di Value Function Approximation. Il primo metodo è il metodo incrementale tramite discesa del gradiente stocastico con un’equazione lineare e i metodi Temporal Difference. L’articolo discute anche i famosi Deep Q-Networks (DQN). I Deep Q-Networks sono l’estensione di Function Approximation per l’Off-Policy Q-Learning.

I nostri articoli da leggere assolutamente

Affrontare la perdita di dati: Considerazioni essenziali per modelli di Machine Learning affidabili di Mala Deep

Probabilmente conosci GANs, ma sai come addestrarli? di Youssef Hosni

Introduzione completa alla generazione di immagini AI di Youssef Hosni

Se desideri pubblicare su Towards AI, consulta le nostre linee guida e registra. Pubblicheremo il tuo lavoro nella nostra rete se rispetta le nostre politiche editoriali e gli standard.

Offerte di lavoro

Ingegnere Prompt – 061023 @Sirion Pte Ltd (Remoto/Canada)

Ricercatore Scientifico di Machine Learning @Neural Magic (Remoto)

Ingegnere di Machine Learning @Callsign (Londra, Regno Unito)

Lead Data Scientist (WA) @Tiger Analytics (Seattle, WA, USA)

Staff Machine Learning Engineer @Clari (Remote)

Junior Developer with Python(temp) @Clarity AI (Remote)

Manager, Data Platforms @Angi (Remote)

Interessato a condividere un’opportunità di lavoro qui? Contatta .

Se stai preparando il tuo prossimo colloquio di lavoro sull’apprendimento automatico, non esitare a visitare il nostro sito web leader nella preparazione dei colloqui, confetti!

https://www.confetti.ai/