Questa newsletter sull’IA è tutto ciò di cui hai bisogno #74

Questa newsletter sull'IA è tutto ciò di cui hai bisogno #74 per restare aggiornato

Cosa è successo questa settimana nell’IA di Louie

Questa settimana, tutta l’attenzione è stata rivolta alla serie di eventi frenetici presso OpenAI, che purtroppo hanno eclissato diversi interessanti nuovi rilasci di modelli. È sicuro dire che hai seguito le svolte e le vicissitudini del drama, quindi non ne parleremo qui in dettaglio, ma in sintesi, il consiglio di OpenAI ha licenziato il suo CEO, Sam Altman, venerdì senza preavviso ai dipendenti chiave o agli stakeholder. Il consiglio ha giustificato le sue azioni, dicendo che Sam “non è stato costantemente franco nelle sue comunicazioni con il consiglio”. Tuttavia, anche oggi, non hanno dato una ragione chiara ai dipendenti, agli esecutivi o a Microsoft di OpenAI. Al momento, 747 su 770 dipendenti di OpenAI hanno firmato una lettera congiunta al consiglio di OpenAI affermando che potrebbero lasciare e seguire Sam Altman e Greg Brockman per unirsi a un nuovo team di IA presso Microsoft, a meno che il consiglio non si dimetta e reintegri Sam e Greg. Questa lettera è stata firmata anche dal co-fondatore Ilya Sutskever, che ora si pente di aver partecipato alle azioni del consiglio.

Forse la cosa più strana in tutto ciò è il silenzio del consiglio di OpenAI e l’incapacità di spiegare le loro azioni, il che rende molto poco chiaro il loro motivo. Ancora più incredibile, il consiglio ha apparentemente dichiarato agli esecutivi di OpenAI che permettere all’azienda di essere distrutta “sarebbe coerente con la missione”.

Supponiamo che le decisioni iniziali del consiglio siano state guidate dalla preoccupazione per la sicurezza dell’IA, la tensione riguardo ai progetti di monetizzazione e la condivisione dei profitti degli investitori e la leadership di Sam e la comunicazione del consiglio. In questo caso, pensiamo che sia chiaro per loro che permettere a OpenAI di collassare non sta aiutando la loro causa rispetto a cedere e permettere a OpenAI di sopravvivere nella sua forma attuale. Supponiamo che il personale di OpenAI lasci in massa per unirsi a Microsoft (che non ha le stesse salvaguardie AGI). In questo caso, significa anche trasferire tutti i futuri profitti potenziali di OpenAI (oltre il tetto di profitto stabilito a vantaggio della carità di OpenAI) a un’azienda di Microsoft. Sam sarebbe ancora il responsabile del team e non avrebbe più un consiglio di OpenAI con cui comunicare del tutto! Rallentare OpenAI offre anche ad altri concorrenti come Google o Meta la possibilità di recuperare, o persino ad altri paesi come la Cina. Tutto ciò in cui il consiglio di OpenAI avrebbe meno potere per controllare il futuro dell’IA.

Perché dovrebbe interessarti?

Il significato di questi eventi può variare dalla politica banale della Silicon Valley a un rallentamento di sei a diciotto mesi nel progresso dell’IA e persino a un momento cruciale per il futuro della Terra. Tutto dipende dalle tue opinioni riguardo a:

  • Quali ostacoli incontreremo nella traiettoria attuale di progresso di LLM e quanto impatto globale avrà realmente la tecnologia LLM?
  • È davvero un rischio AGI e dovremmo dare la priorità alla creazione di salvaguardie in questa fase?
  • Quanto tempo ci vorrebbe per ricostruire il pipeline del modello GPT4.5/5 di OpenAI all’interno di Microsoft, incluso 1) il dataset RLHF e il pipeline in corso dai 100 milioni di utenti attivi settimanali di ChatGPT, 2) il set di dati di pre-addestramento e 3) l’infrastruttura del software di addestramento?
  • Di quanto erano indietro Google, Anthropic, Meta, xAi e gli altri nel rilascio di un modello di livello GPT-4.5/5?
  • Questo potrebbe causare abbastanza interruzioni per permettere alla Cina di prendere il comando dagli Stati Uniti e influenzare la geopolitica?
  • L’IA sarà vincente nella maggior parte dei mercati in cui chi arriva per primo fa davvero tutta la differenza?
  • Lo status di beneficenza di OpenAI e le salvaguardie AGI erano davvero stati istituiti per beneficiare l’umanità e ridistribuire la ricchezza a tutti (dopo aver superato il limite di profitto di diverse centinaia di miliardi di dollari) meglio di una società pubblica come Microsoft?

La direzione del leadership, la struttura organizzativa, la cultura e la posizione del leader di AI potrebbero essere globalmente significativi, ma dovremo aspettare e vedere come si sviluppano le cose!

– Louie Peters – Co-fondatore e CEO di Towards AI

Ultime notizie

  1. Una cronologia del licenziamento di Sam Altman da OpenAI – E le conseguenze

Sam Altman si è dimesso come CEO di OpenAI, portando alle dimissioni del presidente e co-fondatore dell’azienda, Greg Brockman, e di tre ricercatori senior di OpenAI. La situazione sta evolvendo rapidamente e questo articolo fornisce una cronologia per aiutarti a seguire gli eventi che si stanno svolgendo.

2. Kyutai è un laboratorio di ricerca sull’IA francese con un budget di 330 milioni di dollari che renderà tutto open source

Il laboratorio di ricerca sull’IA con sede a Parigi, Kyutai, ha ottenuto un finanziamento di 330 milioni di dollari per sviluppare l’intelligenza artificiale generale. Con queste risorse, Kyutai intende condurre ricerche approfondite guidate da studenti di dottorato, post-dottorato e ricercatori. Inoltre, il laboratorio dà priorità alla trasparenza dell’IA condividendo apertamente i suoi modelli, il codice sorgente e i dati.

3. DeepMind presenta Lyria, un modello per la generazione musicale

Il modello musicale IA di Google DeepMind, Lyria, sta trasformando il processo di creazione musicale producendo musica di eccezionale qualità con voci personalizzabili. L’esperimento “Dream Track” su YouTube consente agli artisti di connettersi con i fan attraverso voci e musica generate dall’IA, mentre gli strumenti AI migliorano il percorso creativo per i professionisti dell’industria musicale.

4. GraphCast: modello AI per una previsione meteorologica globale più rapida e accurata

DeepMind ha sviluppato GraphCast, un sistema AI avanzato che utilizza reti neurali grafiche per prevedere con precisione e rapidità il meteo globale fino a 10 giorni in soli 60 secondi. Supera il sistema HRES di standard del settore, può tracciare cicloni e fiumi atmosferici e identificare temperature estreme.

5. Nvidia presenta H200, il suo nuovo processore di fascia alta per l’addestramento di modelli di intelligenza artificiale

Nvidia introduce la GPU H200, una versione aggiornata con 141GB di memoria ad alta larghezza di banda. Questo miglioramento aiuta nel processo di inferenza nell’addestramento di modelli di intelligenza artificiale di grandi dimensioni. Il lancio della H200 è previsto per il secondo trimestre del 2024 e sarà in concorrenza con la GPU MI300X di AMD, offrendo una capacità di memoria aumentata per gestire modelli complessi.

Pensate che licenziare Sam Altman sia la mossa giusta per OpenAI? Condividete le vostre opinioni nei commenti!

Cinque letture/video di 5 minuti per continuare a imparare

  1. Applicare le strategie RAG di OpenAI

Il modello RAG di OpenAI incorpora diverse strategie di recupero: similarità cosinusoidale, multi-query, prompting di passo indietro, Rewrite-Retrieve-Read e instradamento efficiente. Questo articolo approfondisce ciascun metodo utilizzato nella serie di esperimenti RAG di Open AI e mostra come implementarli.

2. Suggerimenti pratici per il fine-tuning di LLM utilizzando LoRA (Low-Rank Adaptation)

Questo articolo esplora i passaggi pratici per il fine-tuning di Low-Rank Adaptation (LoRA) nei modelli di linguaggio (LLM), fornendo suggerimenti e raccomandazioni. Gli esperimenti mostrano risultati consistenti con LoRA, risparmiando l’uso della memoria ma aumentando il tempo di esecuzione. Utilizzando LoRA su tutti i livelli, regolando il rango e l’alfa, è possibile migliorare le prestazioni del modello.

3. Inizia e migliora le tue competenze di LLM nel 2023

Questa è una guida completa per iniziare e migliorare le tue competenze di LLM nel 2023 anche senza una conoscenza avanzata nel campo e rimanendo aggiornati con le ultime notizie e le tecniche all’avanguardia. È rivolta a chiunque abbia una conoscenza limitata di programmazione e apprendimento automatico.

4. Siamo davvero vicini ad ottenere l’AGI secondo DeepMind

Un team di scienziati di Google DeepMind ha proposto un nuovo framework per classificare le capacità e il comportamento dei sistemi AGI e dei loro precursori. Questo articolo esplora il framework, compresi i criteri per misurare l’intelligenza artificiale, una matrice per misurare le prestazioni e la generalità e un’altra matrice per misurare l’autonomia e il rischio.

5. La crisi di identità di OpenAI e la battaglia per il futuro dell’AI

Questo è un commento ben articolato sugli ultimi eventi che si verificano presso OpenAI. Secondo l’autore, la questione dell’equilibrio tra la sicurezza dell’IA e l’impulso di mercato è stato un fattore nella decisione di estromettere Sam Altman.

Repository e Strumenti

  1. explodinggradients/ragas

Ragas è un framework che ti aiuta a valutare le tue pipeline di Generazione Arricchita da Recupero (RAG). RAG indica una classe di applicazioni LLM che utilizzano dati esterni per arricchire il contesto del LLM.

2. abi / screenshot-to-code

Questa app converte uno screenshot in HTML/Tailwind CSS. Utilizza GPT-4 Vision per generare il codice e DALL-E 3 per generare immagini simili.

3. Netmind Power

Netmind Power è una piattaforma decentralizzata di machine learning e IA. Puoi allenare i tuoi modelli sulla piattaforma e loro troveranno il calcolo dalla loro rete e distribuiranno il codice per te.

4. BuilderIO / gpt-crawler

GPT Crawler ti permette di fornire un URL del sito, che crawlerà e utilizzerà come base di conoscenza per il GPT. Puoi condividere questo GPT o integrarlo come assistente personalizzato nei tuoi siti e app.

I Migliori Paper della Settimana

  1. Confronto tra Esseri Umani, GPT-4 e GPT-4V su Task di Astrazione e Ragionamento

Questo studio confronta GPT-4 e la sua versione multimodale, GPT-4V, con gli esseri umani su task di astrazione e ragionamento utilizzando il benchmark ConceptARC. I risultati mostrano che nessuna delle due versioni di GPT-4 raggiunge un livello di ragionamento astratto simile a quello umano, anche con prompt dettagliati in un’unica lettura e compiti di immagini semplificati.

2. GPT-4V in Wonderland: Grandi Modelli Multimodali per la Navigazione su Smartphone senza Istruzioni

Il paper presenta MM-Navigator, un agente basato su GPT-4V che esegue con successo la navigazione dell’interfaccia utente grafica su smartphone senza istruzioni utilizzando grandi modelli multimodali. Dimostra grande precisione nell’interpretazione e nell’esecuzione delle istruzioni dello schermo iOS.

3. Un Sondaggio sui Modelli Linguistici per il Codice

Questo sondaggio approfondito esplora l’evoluzione e i progressi nel processing del codice utilizzando modelli linguistici. Copre oltre 50 modelli, 30 task di valutazione e 500 lavori correlati, concentrandosi sui modelli linguistici generali e specializzati addestrati sul codice. Il sondaggio è pubblico e aggiornato nel repository GitHub.

4. Chain-of-Note: Migliorare la Robustezza nei Modelli Linguistici Arricchiti da Recupero

I modelli linguistici arricchiti da recupero (RALM) migliorano le capacità dei modelli linguistici, ma possono generare risposte errate a causa di informazioni recuperate non affidabili. Un nuovo approccio, Chain-of-Noting (CoN), genera note di lettura sequenziali per valutare la rilevanza del documento e migliorare le risposte RALM.

  1. Meta annuncia Emu Video ed Emu Edit, le loro ultime innovazioni nell’editing di immagini e generazione di video tramite IA. EMU è stato annunciato a settembre ed oggi viene utilizzato in produzione, dando vita a esperienze come la funzione Imagine di Meta AI.
  2. NVIDIA annuncia di aver potenziato la principale piattaforma di computazione AI del mondo con l’introduzione di NVIDIA HGX™ H200. La piattaforma presenta il processore grafico Tensor Core H200 di NVIDIA con memoria avanzata.
  3. IBM rafforza il suo impegno per l’azione contro il cambiamento climatico attraverso nuovi progetti di sostenibilità e formazione gratuita su competenze green e tecnologiche per le comunità vulnerabili.

Chi sta assumendo in AI

Sr. Backend Software Engineer (Billing Engineer) @Philo (Remote)

Decision Scientist — Data and Analytics @Salesforce (Remote)

Senior Software Engineer — DGX Cloud Messaging platform @NVIDIA (US/Remote)

Ingegnere AI & ML (Python, PyTorch, Tensorflow) @CodeLink (Ho Chi Minh City, Vietnam)

Ingegnere AI/ML @Intersog (Remote)

Technical Product Manager @CodeHunter (Remote)

Data Science Associate @Black Swan Data, Inc. (Remote)

Se sei interessato a condividere un’opportunità di lavoro qui, contatta .

Se stai preparando il tuo prossimo colloquio di lavoro nell’ambito del machine learning, non esitare a visitare il nostro sito web leader nella preparazione degli interviste, confetti!

https://www.confetti.ai/

Pensi che un amico possa apprezzare questo articolo? Condividi la newsletter e permettigli di unirsi alla conversazione.