Questa newsletter sull’intelligenza artificiale è tutto ciò di cui hai bisogno #72.

La nostra preziosa newsletter sull'intelligenza artificiale, tutto ciò di cui hai bisogno #72.

Cosa è successo questa settimana nell’AI di Louie

Questa settimana, le notizie sull’IA sono state dominate dal Devday di OpenAI e dal lancio di molti nuovi modelli e funzionalità, che hanno oscurato l’ingresso precedente di Elon Musk nella corsa LLM con il modello di classe Grok GPT-3 di xAI. Il Devday di OpenAI ha incluso il lancio di un nuovo modello GPT-4 Turbo migliore, più veloce e più economico, una capacità di visione tramite API, un motore di recupero integrato e l’integrazione API con diversi altri modelli (Dalle-3, un nuovo modello di speech-to-text di Whisper e nuovi modelli di text to speech). Ma la sorpresa dell’evento è stata la pubblicazione dei “GPT” – una soluzione no-code e un futuro app store “GPT Store” per consentire alle persone di costruire e monetizzare i propri agenti GPT personalizzati tramite ChatGPT.

Quest’ultimo insieme di lanci da parte di OpenAI ci fa domandare se questo potrebbe essere il momento di “ChatGPT” dei modelli di classe GPT-4. Il lancio iniziale di ChatGPT ha coinvolto il miglioramento iterativo dei modelli di classe GPT-3 insieme a miglioramenti significativi dell’interfaccia utente che hanno permesso l’ampia adozione di GPT-3 per le applicazioni di chatbot. Quest’ultimo insieme di lanci ha una sensazione simile, ma questa volta per i modelli di classe GPT-4 e invece per l’adozione di LLM RAG e applicazioni degli agenti, dove un’interfaccia di costruzione dell’agente più facile da usare, modelli più veloci e più economici consentono ai LLM di raggiungere un nuovo potenziale.

Dopo l’evento, abbiamo notato che la conversazione si è concentrata su 1) se la politica di prezzi aggressiva di OpenAI e l’aggiunta di funzionalità aumentate minacci altri startup di intelligenza artificiale e “wrapper GPT” e 2) se OpenAI creerà un nuovo ecosistema di AppStore con il nuovo prodotto GPT. Per il primo punto, abbiamo argomenti di favore su entrambi i fronti. Ad esempio, OpenAI si è avvicinata al modello Claude 2 di Anthropic sul suo contesto di lunghezza precedente (e a un prezzo leggermente più basso), ha rilasciato un’API di text-to-speech significativamente più economica rispetto ad Eleven Labs e si è anche avventurata nel territorio del processo di documenti e della generazione migliorata di recupero (RAG) come Langchain. Allo stesso tempo, però, ha rilasciato un toolkit estremamente potente per la creazione di prodotti LLM e RAG molto più potenti con un GPT-4 migliore e molti nuovi modelli disponibili via API. Hanno anche reso molto più facile costruire su modelli OpenAI e abbassato significativamente le barriere all’ingresso per le persone interessate a costruire i propri progetti.

– Louie Peters – Co-fondatore e CEO di Towards AI

Ultime notizie

  1. Tutte le novità dalla prima conferenza per sviluppatori di OpenAI

Il Devday di OpenAI ha incluso il lancio di un nuovo modello GPT-4 Turbo migliore, più veloce e più economico, una capacità di visione tramite API, un motore di recupero integrato e l’integrazione API con diversi altri modelli. Ma la sorpresa dell’evento è stata la pubblicazione dei “GPT” – una soluzione no-code e un futuro app store “GPT Store”.

2. RedPajama-Data-v2: Un set di dati aperto con 30 trilioni di token per l’addestramento dei LLM

RedPajama-Data-V2, il più grande set di dati pubblici per la ricerca sui modelli di linguaggio, è un set di dati puliti che comprende 30 trilioni di token da 84 dump di CommonCrawl in cinque lingue principali. Include annotazioni di qualità pre-calcolate per scopi di filtraggio e pesatura ed è ora disponibile per la ricerca e l’uso commerciale.

3. Il primo prodotto di intelligenza artificiale di Elon Musk è un chatbot chiamato Grok

La startup di IA di Elon Musk xAI ha lanciato il suo primo chatbot, Grok, che sarà disponibile per gli abbonati X Premium+. Il team di Grok include specialisti di intelligenza artificiale di DeepMind, OpenAI, Google, Microsoft e Tesla. Musk sottolinea che la capacità di Grok di accedere a informazioni in tempo reale sulla piattaforma X gli dà un vantaggio sugli altri chatbot.

4. Una nuova canzone dei Beatles è pronta per essere rilasciata dopo 45 anni – con l’aiuto dell’IA

Una nuova canzone dei Beatles che vede la partecipazione di tutti e quattro i membri originali è stata pubblicata 45 anni dopo che John Lennon ha iniziato a scriverla, grazie all’aiuto dell’intelligenza artificiale. Questo apre possibilità per recuperare vecchie registrazioni o addirittura creare nuova musica, ma solleva anche questioni etiche riguardo al consenso e alla manipolazione artistica.

5. Uno sguardo alla prossima generazione di AlphaFold

AlphaFold, un modello avanzato di intelligenza artificiale, predice con precisione le molecole presenti nel Protein Data Bank, migliorando la comprensione delle biomolecole e supportando la ricerca sulle strutture proteiche complesse. Ha applicazioni potenziali nella scoperta di farmaci contro il cancro, nello sviluppo di vaccini e nella riduzione dell’inquinamento.

Cinque letture/video di 5 minuti per continuare a imparare

  1. huggingface/alignment-handbook: Ricette robuste per allineare modelli linguistici alle preferenze umane e dell’intelligenza artificiale

Hugging Face ha pubblicato una serie di guide di allineamento nel loro Alignment Handbook per l’addestramento di modelli linguistici. Le guide coprono tecniche come il fine-tuning supervisionato, il reward modeling, il rejection sampling e l’ottimizzazione diretta delle preferenze (DPO) per migliorare le prestazioni del modello linguistico.

2. Come i detector di intelligenza artificiale possono distruggere il sostentamento degli scrittori innocenti

Il tasso di falsi positivi elevato dei detector di intelligenza artificiale generali ha avuto un effetto devastante sullo scrittore freelance Michael Berben: accusato falsamente di frode, ha perso il suo lavoro. L’articolo fa luce sui comuni falsi positivi e sulla mancanza di meccanismi efficaci per sfidare i detector di intelligenza artificiale nel campo.

3. AI + API: cosa pensano 12 esperti sul futuro

La convergenza tra intelligenza artificiale e API sta rivoluzionando il mondo della tecnologia. Le startup che sfruttano questi strumenti possono sfidare i giganti consolidati e ridefinire le dinamiche di potere nell’economia digitale. Questo saggio mette in evidenza i pensieri e le opinioni di 12 esperti sull’opportunità che si trova all’incrocio tra intelligenza artificiale e API.

4. Dopo oltre 500 LoRA realizzati, ecco il segreto

Questo blog sottolinea l’importanza di set di dati di qualità e dell’ottimizzazione dei parametri per massimizzare l’efficienza di LoRA. Sottolinea l’importanza di un set di dati chiaro e raccomanda l’uso di un modello da 33B per un miglior fine-tuning. Inoltre, avverte degli eventuali impatti sulla qualità derivanti dall’accumulo del gradiente.

5. Cos’è l’intelligenza artificiale multimodale?

La guida spiega il concetto di intelligenza artificiale multimodale e il suo impatto trasformativo su vari settori. Esplora le applicazioni pratiche dell’intelligenza artificiale multimodale, discute le tecniche di fusione e offre un glossario conciso dei termini chiave in questo ambito.

Materiali e repository

  1. Zephyr: Distillazione diretta dell’allineamento di modelli linguistici

Il modello Zephyr 7B, sviluppato da Hugging Face, ha ottenuto risultati impressionanti superando il Chat Llama 70B in vari benchmark. Il suo approccio di addestramento prevede la costruzione di set di dati, il fine-tuning, la raccolta di feedback dell’intelligenza artificiale e l’ottimizzazione delle preferenze.

2. huggingface/distil-whisper

Distil-Whisper è un impressionante modello di intelligenza artificiale che offre una maggiore velocità di inferenza e una riduzione delle dimensioni rispetto a Whisper. Si comporta bene in ambienti rumorosi e presenta un minor numero di ripetizioni e errori di inserimento delle parole. Il modello utilizza un innovativo processo di distillazione addestrato su un ampio e diversificato set di dati, garantendo robustezza in vari domini.

3. Gli LLM possono dominare l’accesso alle informazioni: i recuperatori neurali sono inclini ai testi generati da LLM

Questo lavoro effettua una valutazione quantitativa di diversi modelli di IR con testi scritti da esseri umani e testi generati da LLM. I motori di ricerca tendono a favorire i testi generati da LLM rispetto a quelli scritti da esseri umani. Questo solleva preoccupazioni riguardo al bias di origine e richiede ulteriori esplorazioni e valutazioni nell’era delle LLM.

4. ChatGPT è bravo nella ricerca? Indagine sui grandi modelli linguistici come agenti di ri-ordine

Questo articolo indaga sui modelli linguistici generativi come ChatGPT e GPT-4 per la classificazione in base alla rilevanza nella Recupero delle informazioni. Mostra che i modelli linguistici, quando guidati in modo efficace, possono ottenere risultati migliori rispetto ai metodi supervisionati di punta nei benchmark del recupero delle informazioni.

5. I grandi modelli linguistici capiscono e possono essere potenziati dagli stimoli emotivi

Questo articolo compie il primo passo verso l’esplorazione della capacità dei modelli linguistici di grande dimensione di comprendere stimoli emotivi. Si è scoperto che fornire frasi specifiche al modello AI GPT-4 ha migliorato le sue prestazioni. L’uso di “EmotionPrompts” ha prodotto output di qualità superiore, con un miglioramento del 8% durante l’induzione di istruzioni e del 115% nelle attività a rischio elevato.

Ti piacciono questi articoli e riepiloghi di notizie? Ricevi un riepilogo giornaliero nella tua casella di posta!

La sezione della Community Impariamo l’AI insieme!

Podcast settimanale sull’AI

Nell’episodio di questa settimana di What’s AI, Louis Bouchard condivide la sua esperienza riguardo al suo dottorato in AI e il motivo per cui ha deciso di interromperlo. Questo episodio è particolarmente rilevante per coloro che stanno ponderando la scelta tra perseguire un dottorato in AI, lavorare nell’AI applicata o unirsi a una startup dinamica. Louis offre una prospettiva sulla pertinenza di un dottorato, i fattori da considerare nella presa di decisione e altro ancora. Sintonizzati su YouTube o leggi il articolo completo per trovare utili punti guida per il tuo percorso.

Meme della settimana!

Meme condiviso da rucha8062

Post in evidenza dalla Community Discord

Henry ha appena lanciato DearFlow per i test beta! È una piattaforma completa per creare e scoprire casi d’uso di intelligenza artificiale (chatbot e workflow). Combina la potenza di FlowGPT con Notion. Consente agli utenti di eseguire workflow complessi che le interfacce di chat come ChatGPT non possono gestire. Dai un’occhiata qui e supporta un membro della community! Condividi le tue opinioni e feedback nel thread qui.

Sondaggio AI della settimana!

Raccontaci come riesci a aumentare la tua produttività o a trarne vantaggio nel tuo attuale lavoro! Unisciti alla discussione su Discord.

Sezione con notizie selezionate TAI

Articolo della settimana

I principali articoli importanti sui modelli linguistici di grande dimensione della settimana dal 23/10 al 29/10 di Youssef Hosni

Grandi modelli di linguaggio (LLM) sono avanzati rapidamente negli ultimi anni. Con lo sviluppo di nuove generazioni di modelli, è fondamentale che i ricercatori e gli ingegneri si tengano informati sugli ultimi progressi. Questo articolo riassume alcuni dei più importanti papers su LLM pubblicati durante la quarta settimana di ottobre.

I nostri articoli da leggere assolutamente

È possibile provare l’ipotesi della simulazione? di Lee Vaughan

Rafforzare la robustezza di un modello di regressione con analisi delle serie temporali — Parte 1 di Mirza Anandita

Guida completa per la creazione di un assistente AI per la sintesi di video su YouTube — Parte 2 di Amin Kamali

Se sei interessato/a a pubblicare su Towards AI, controlla le nostre linee guida e registrati. Pubblicheremo il tuo lavoro sulla nostra rete se rispetta le nostre politiche editoriali e standard.

Offerte di lavoro

Data Engineer @Pearl Technologies (Remote)

Robotics Software Intern 2024 @Rapyuta Robotics (Japan)

Mobile Engineer, Full Stack (LLM/GenAI) @Mercari, inc. (Remote)

Data Analytics Manager @Humanforce (Sydney, Australia)

Quantitative Developer — Temporary @Twine (Remote)

QA Engineer @CRISP (London, UK)

Python Interns (Mumbai) @Docsumo (Mumbai, India)

Interessato/a a condividere un’opportunità di lavoro qui? Contatta .

Se ti stai preparando per il tuo prossimo colloquio di machine learning, non esitare a dare un’occhiata al nostro sito web leader nella preparazione di colloqui, confetti!

https://www.confetti.ai/