Questa newsletter sull’IA è tutto ciò di cui hai bisogno #70
Questa newsletter sull'IA è ciò di cui hai bisogno #70 tutto quello che devi sapere
Cosa è successo questa settimana nell’IA di Louie
In questa settimana nell’IA, siamo stati particolarmente interessati a vedere due nuovi modelli di agenti rilasciati. Nvidia ha presentato Eureka, un agente IA progettato per guidare i robot nell’esecuzione di compiti complessi in modo autonomo. Questo agente, alimentato da GPT-4, può generare autonomamente funzioni di ricompensa che superano le prestazioni degli esperti umani nell’83% dei compiti, ottenendo un miglioramento medio del 52%. La demo affascinante condivisa dall’azienda illustra la capacità dell’agente di addestrare una mano robotica a eseguire il trucco di girare rapidamente la penna come un essere umano. Come menzionato da uno degli autori in un post sul blog, questa libreria utilizza l’IA generativa e l’apprendimento per rinforzo per risolvere compiti complessi.
In altre notizie sugli agenti, i ricercatori di Adept hanno introdotto un’architettura multimodale per agenti IA chiamata Fuyu, con 8 miliardi di parametri. Questo modello adotta un’architettura solo decoder in grado di elaborare immagini e testi, semplificando il design della rete, la scalabilità e la distribuzione. Inoltre, a differenza della maggior parte dei modelli esistenti, accetta immagini di dimensioni variabili, rendendolo un’aggiunta preziosa per l’uso negli agenti. Il modello può generare risposte per immagini di grandi dimensioni in soli 100 millisecondi. Siamo entusiasti dei recenti progressi sugli agenti IA per applicazioni fisiche e online. Sebbene ancora agli inizi della commercializzazione, gli agenti capaci di interagire indipendentemente con il proprio ambiente ed eseguire compiti complessi creano molte opportunità per nuovi prodotti e applicazioni di IA.
– Louie Peters — Towards AI Co-fondatore e CEO
Ultime notizie
I piani di OpenAI per lo sviluppo del modello di IA Arrakis al fine di ridurre i costi di calcolo per applicazioni di IA come ChatGPT sono stati interrotti. Nonostante questo contrattempo, il momento di crescita di OpenAI continua, con un fatturato annuale stimato di 1,3 miliardi di dollari. Tuttavia, potrebbero affrontare sfide con il prossimo modello di IA di Google, Gemini, e un esame approfondito a un summit sulla sicurezza dell’IA.
- Python f-Strings Magia 5 Trucchi Rivoluzionari Che Ogni Programmatore Deve Conoscere
- Aaron Lee, Co-Fondatore e CEO presso Smith.ai – Serie di interviste
- Jane la scopritrice migliorare la scoperta causale con grandi modelli di linguaggio (Causal Python)
2. Chip IBM ‘Mind-Blowing’ accelera l’IA
IBM ha sviluppato un chip informatico ispirato al cervello (NorthPole) che aumenta significativamente la velocità e l’efficienza dell’IA riducendo la necessità di accedere alla memoria esterna. NorthPole è composto da 256 unità di elaborazione, o core, ciascuna delle quali contiene la propria memoria.
3. La scoperta di NVIDIA permette ai robot di imparare da soli
I ricercatori di NVIDIA hanno creato un agente di IA chiamato Eureka, che può generare automaticamente algoritmi per addestrare i robot, consentendo loro di apprendere abilità complesse più velocemente. I programmi di ricompensa generati da Eureka superano quelli scritti da esperti umani in più dell’80% dei compiti.
4. Fuyu-8B: un’architettura multimodale per agenti IA
Adept ha introdotto Fuyu-8B, un potente modello open-source di visione-linguaggio progettato per comprendere e rispondere a domande riguardanti immagini, grafici, diagrammi e documenti. Fuyu-8B migliora QWEN-VL e PALM-e-12B su 2 delle 3 metriche nonostante abbia rispettivamente 2 miliardi e 4 miliardi di parametri in meno.
5. Dopo la disruptiva ChatGPT, Stack Overflow ha licenziato il 28% dei suoi dipendenti
Stack Overflow sta licenziando il 28% dei suoi dipendenti a causa dei progressi nella tecnologia dell’IA come ChatGPT. I chatbot come ChatGPT forniscono un’assistenza efficiente alla codifica e si basano pesantemente sui contenuti provenienti da siti come Stack Overflow. Tuttavia, sorge una domanda importante sulla sostenibilità dei chatbot che raccolgono dati senza beneficiare le loro fonti.
Cinque letture/video da 5 minuti per continuare a imparare
Questo articolo fornisce numeri ed equazioni essenziali per lavorare con i modelli di linguaggio di grandi dimensioni (LLMs). Copre argomenti come i requisiti di calcolo, i punti ottimi di calcolo, la dimensione minima del dataset, le prestazioni minime dell’hardware e i requisiti di memoria per l’inference.
2. Perché LLaVa-1.5 è una grande vittoria per l’AI open-source
LLaVa-1.5, una valida alternativa più piccola al GPT-4 Vision di OpenAI, dimostra il potenziale dei modelli open-source per i modelli multimodali di grandi dimensioni (LMMs). Sottolinea l’importanza della comprensione della multimodalità nell’AI, sfatando i dubbi sulla fattibilità degli approcci open-source.
3. GPT-4 Vision Prompt Injection
La Vision Prompt Injection è una vulnerabilità che consente agli attaccanti di iniettare dati dannosi nelle richieste attraverso immagini nel GPT-4 di OpenAI. Questo mette a rischio la sicurezza del sistema, in quanto gli attaccanti possono eseguire azioni non autorizzate o estrarre dati. La difesa da questa vulnerabilità è complessa e può influire sull’usabilità del modello.
GPT-4 sta migliorando rapidamente la sua velocità di risposta, in particolare nel percentile 99, dove le latenze sono diminuite. GPT-4 e GPT-3.5 mantengono un basso rapporto latenza-token, indicando un’efficienza delle prestazioni.
5. Introduzione all’Indice di Trasparenza dei Modelli Fondamentali
Un team di ricercatori provenienti da Stanford, MIT e Princeton ha sviluppato un indice di trasparenza per valutare il livello di trasparenza nei modelli fondamentali commerciali. L’indice, noto come Indice di Trasparenza dei Modelli Fondamentali (FMTI), valuta 100 diversi aspetti di trasparenza e i risultati indicano che c’è un ampio margine di miglioramento tra le principali aziende di modelli fondamentali.
Articoli e Repository
BitNet è un’architettura 1-bit Transformer progettata per migliorare l’efficienza della memoria e ridurre il consumo energetico nei grandi modelli di linguaggio (LLMs). Supera i metodi di quantizzazione a 8-bit e FP16 e mostra il potenziale per ridimensionare in modo efficace anche modelli LLM ancora più grandi mantenendo vantaggi di efficienza e prestazioni.
2. HyperAttention: Attention con contesto lungo in tempo quasi lineare
HyperAttention è una soluzione innovativa che affronta la sfida computazionale dei contesti più lunghi nei modelli di linguaggio. Supera i metodi esistenti utilizzando la Locality Sensitive Hashing (LSH), migliorando considerevolmente la velocità. Eccelle su dataset con contesti lunghi, rendendo l’inference più veloce pur mantenendo una perplessità ragionevole.
3. Self-RAG: Imparare a Recuperare, Generare e Criticare tramite Auto-Riflessione
Questo articolo presenta un nuovo framework chiamato Self-RAG. È un modello migliorato che migliora la Retrieval Augmented Generation (RAG) consentendo ai modelli di linguaggio di riflettere su passaggi utilizzando “reflection token”. Questo miglioramento porta a risposte migliori in compiti che richiedono una conoscenza approfondita come QA, ragionamento e verifica dei fatti.
4. Modelli di linguaggio Vision PaLI-3: più piccoli, più veloci, più potenti
Questo articolo presenta PaLI-3, un modello di linguaggio visione (VLM) più piccolo, più veloce e più potente che si confronta favorevolmente con modelli simili che sono 10 volte più grandi. Utilizza un modello ViT allenato con obiettivi contrastivi, il che gli consente di eccellere nei benchmark multimodali.
5. DeepSparse: Consentire l’Inference di Livello GPU sul tuo CPU
DeepSparse è un robusto framework che migliora l’apprendimento profondo sui CPU incorporando kernel sparsi, quantizzazione, potatura e memorizzazione nella cache di chiavi/valori dell’attention. Raggiunge prestazioni simili a GPU su CPU comunemente utilizzati, consentendo un deployment efficiente e robusto di modelli senza acceleratori dedicati.
Apprezza questi articoli e riepiloghi delle notizie? Ricevi un riepilogo giornaliero nella tua casella di posta!
La sezione della Community Learn AI Together!
Meme della settimana!
Meme condiviso da sikewalk
Post della Community in evidenza da Discord
G.huy ha creato un repository contenente esempi di codice e risorse per il calcolo parallelo utilizzando CUDA-C. Fornisce ai principianti un punto di partenza per capire i concetti del calcolo parallelo e come utilizzare CUDA-C per sfruttare la potenza delle GPU per accelerare compiti computazionalmente intensivi. Dagli un’occhiata su GitHub e supporta un membro della community. Condividi i tuoi feedback e domande nel thread qui.
Sondaggio AI della settimana!
Unisciti alla discussione su Discord.
Sezione Tai Curated
Articolo della settimana
Considerazioni pratiche nel design delle applicazioni RAG di Kelvin Lu
L’architettura RAG (Retrieval Augmented Generation) si è dimostrata efficiente nel superare il limite di lunghezza di input LLM e il problema del taglio delle conoscenze. Nello stack tecnico LLM di oggi, RAG è uno dei fondamenti per basare l’applicazione discussa sulla conoscenza locale, mitigando le allucinazioni e rendendo le applicazioni LLM verificabili. Questo articolo discute alcuni dei dettagli pratici dello sviluppo delle applicazioni RAG.
I nostri articoli imperdibili
Svelare i misteri dei modelli di diffusione: Un’esplorazione approfondita di Youssef Hosni
Introduzione al Machine Learning: Esplorazione delle sue molte forme di RaviTeja G
QLoRA: Allenamento di un grande modello del linguaggio su una GPU da 16 GB di Pere Martra
Se desideri pubblicare su Towards AI, controlla le nostre linee guida e iscriviti. Pubblicheremo il tuo lavoro sulla nostra rete se rispetta le nostre politiche editoriali e gli standard.
Offerte di lavoro
Machine Learning Engineer, Large Language Model & Generative AI @Hireio, Inc. (Seattle, WA, USA)
Ingegnere di Machine Learning @Pixelynx (Freelancer/Berlino, Germania)
Jr. Ingegnere di Machine Learning @BreederDAO (Remoto)
Tech Lead Ingegnere di Machine Learning @Baubap (Remoto)
Ingegnere di Machine Learning @iTechScope (Remoto)
Insegnante, AI/Machine Learning, Simplilearn (Part-time) @Fullstack Academy (Remoto)
Interessato a condividere un’opportunità lavorativa qui? Contatta [email protected].
Se stai preparando il tuo prossimo colloquio di Machine Learning, non esitare a consultare il nostro sito leader per la preparazione del colloquio, confetti!
