Le ultime ricerche di DeepMind a NeurIPS 2022

'Ultime ricerche DeepMind NeurIPS 2022'

Avanzamento di modelli di grandi dimensioni di prima classe, agenti RL ottimali dal punto di vista del calcolo e sistemi di intelligenza artificiale più trasparenti, etici ed equi

La trentaseiesima Conferenza Internazionale sulle Informazioni Neurali e sui Sistemi di Elaborazione (NeurIPS 2022) si svolgerà dal 28 novembre al 9 dicembre 2022, come evento ibrido, con sede a New Orleans, USA.

NeurIPS è la conferenza più grande al mondo nel campo dell’intelligenza artificiale (AI) e dell’apprendimento automatico (ML), e siamo orgogliosi di supportare l’evento come sponsor Diamond, contribuendo a favorire lo scambio di progressi nella ricerca nella comunità dell’AI e del ML.

Le squadre di DeepMind presenteranno 47 articoli, inclusi 35 collaborazioni esterne, in pannelli virtuali e sessioni di poster. Ecco una breve introduzione ad alcuni dei nostri progetti di ricerca:

Modelli di grandi dimensioni di prima classe

I modelli di grandi dimensioni (LM) – sistemi di intelligenza artificiale generativa addestrati su enormi quantità di dati – hanno portato a prestazioni incredibili in aree come la generazione di linguaggio, testo, audio e immagini. Parte del loro successo deriva dalla loro immensa scala.

• Padroneggiare Stratego, il classico gioco dell’informazione imperfetta.
• Intelligenza Artificiale per il gioco da tavolo Diplomacy
• Programmazione competitiva con AlphaCode

Tuttavia, con Chinchilla, abbiamo creato un modello di linguaggio a 70 miliardi di parametri che supera molti modelli più grandi, inclusi Gopher. Abbiamo aggiornato le leggi di scala dei modelli di grandi dimensioni, mostrando come i modelli precedentemente addestrati fossero troppo grandi per la quantità di addestramento effettuato. Questo lavoro ha già influenzato altri modelli che seguono queste regole aggiornate, creando modelli più snelli e migliori, e ha vinto un premio come Miglior Articolo nella Sessione Principale alla conferenza.

Basandoci su Chinchilla e sui nostri modelli multimodali NFNets e Perceiver, presenteremo anche Flamingo, una famiglia di modelli di apprendimento multimodale del linguaggio a poche riprese. Gestendo immagini, video e dati testuali, Flamingo rappresenta un ponte tra modelli basati solo sulla visione e modelli basati solo sul linguaggio. Un singolo modello Flamingo stabilisce un nuovo stato dell’arte nell’apprendimento a poche riprese su una vasta gamma di compiti multimodali aperti.

Eppure, scala e architettura non sono gli unici fattori importanti per la potenza dei modelli basati su trasformatori. Le proprietà dei dati giocano anche un ruolo significativo, di cui parleremo in una presentazione sulle proprietà dei dati che favoriscono l’apprendimento in contesto nei modelli basati su trasformatori.

Ottimizzazione dell’apprendimento per rinforzo

L’apprendimento per rinforzo (RL) ha dimostrato grandi promesse come approccio per creare sistemi di intelligenza artificiale generalizzati in grado di affrontare una vasta gamma di compiti complessi. Ha portato a progressi in molti ambiti, dal Go alla matematica, e siamo sempre alla ricerca di modi per rendere gli agenti RL più intelligenti e snelli.

Introduciamo un nuovo approccio che potenzia le capacità di prendere decisioni degli agenti RL in modo efficiente dal punto di vista del calcolo, espandendo drasticamente la scala delle informazioni disponibili per il loro recupero.

Presenteremo anche un approccio concettualmente semplice ma generale per l’esplorazione guidata dalla curiosità in ambienti visivamente complessi – un agente RL chiamato BYOL-Explore. Raggiunge prestazioni sovrumane pur essendo robusto al rumore e molto più semplice rispetto ai lavori precedenti.

Avanzamenti algoritmici

Dalla compressione dei dati all’esecuzione di simulazioni per la previsione del tempo, gli algoritmi sono una parte fondamentale dell’informatica moderna. Pertanto, miglioramenti incrementali possono avere un enorme impatto quando si lavora su larga scala, contribuendo a risparmiare energia, tempo e denaro.

Condivideremo un metodo radicalmente nuovo e altamente scalabile per la configurazione automatica delle reti informatiche, basato su ragionamento algoritmico neurale, dimostrando che il nostro approccio altamente flessibile è fino a 490 volte più veloce rispetto allo stato dell’arte attuale, soddisfacendo la maggior parte dei vincoli di input.

Nella stessa sessione, presenteremo anche una rigorosa esplorazione della precedente nozione teorica di “allineamento algoritmico”, evidenziando la relazione sfumata tra le reti neurali a grafo e la programmazione dinamica, e come combinarle al meglio per ottimizzare le prestazioni fuori distribuzione.

Pionierismo responsabile

Al centro della missione di DeepMind c’è il nostro impegno ad agire come pionieri responsabili nel campo dell’IA. Ci impegniamo a sviluppare sistemi di intelligenza artificiale trasparenti, etici ed equi.

Spiegare e comprendere il comportamento dei complessi sistemi di intelligenza artificiale è parte essenziale nella creazione di sistemi equi, trasparenti e accurati. Offriamo un insieme di desiderata che racchiudono queste ambizioni e descriviamo un modo pratico per soddisfarle, che prevede l’addestramento di un sistema di intelligenza artificiale per costruire un modello causale di sé stesso, consentendogli di spiegare il proprio comportamento in modo significativo.

Per agire in modo sicuro ed etico nel mondo, gli agenti di intelligenza artificiale devono essere in grado di ragionare sugli danni e evitare azioni dannose. Presenteremo un lavoro collaborativo su una nuova misura statistica chiamata danno controfattuale, e mostreremo come superare i problemi degli approcci standard per evitare di perseguire politiche dannose.

Finalmente, presentiamo il nostro nuovo articolo che propone modi per diagnosticare e mitigare i fallimenti nella giustizia del modello causati da spostamenti di distribuzione, mostrando quanto siano importanti questi problemi per la messa in funzione di tecnologie di ML sicure in contesti sanitari.

‍

Vedi l’intera gamma del nostro lavoro a NeurIPS 2022 qui .