Il ciclo virtuoso della ricerca sull’IA

Il ciclo di ricerca sull'IA

Vedi le posizioni aperte: https://www.deepmind.com/careers/jobs?sort=alphabetical

Recentemente abbiamo fatto il punto con Petar Veličković, uno scienziato della ricerca presso DeepMind. Insieme ai suoi co-autori, Petar presenterà il suo articolo The CLRS Algorithmic Reasoning Benchmark a ICML 2022 a Baltimore, Maryland, USA.

Il mio percorso verso DeepMind…

Durante i miei corsi di laurea presso l’Università di Cambridge, l’incapacità di giocare abilmente a Go era considerata una chiara evidenza dei limiti dei sistemi di deep learning moderni. Mi sono sempre chiesto come potesse essere possibile padroneggiare tali giochi.

Tuttavia, all’inizio del 2016, appena iniziato il mio dottorato in machine learning, tutto è cambiato. DeepMind ha sfidato uno dei migliori giocatori di Go al mondo in una partita, che ho passato diverse notti insonni a guardare. DeepMind ha vinto, producendo un gameplay innovativo (ad esempio “Mossa 37”) nel processo.

• AlphaFold rivela la struttura dell’universo delle proteine
• Rendendoci conto che gli scienziati sono i veri supereroi
• Avanzare nella conservazione con il riconoscimento facciale basato su intelligenza artificiale delle tartarughe

Da quel momento in poi, ho pensato a DeepMind come a un’azienda in grado di realizzare cose apparentemente impossibili. Quindi, ho concentrato i miei sforzi per unirmi un giorno all’azienda. Poco dopo aver consegnato il mio dottorato all’inizio del 2019, ho iniziato il mio percorso come scienziato della ricerca presso DeepMind!

Il mio ruolo…

Il mio ruolo è un ciclo virtuoso di apprendimento, ricerca, comunicazione e consulenza. Sono sempre attivamente impegnato a imparare cose nuove (più di recente la teoria delle categorie, un modo affascinante di studiare la struttura computazionale), leggere la letteratura pertinente e guardare conferenze e seminari.

Quindi, utilizzando queste conoscenze, faccio brainstorming con i miei compagni di squadra su come possiamo ampliare questo corpus di conoscenze per avere un impatto positivo sul mondo. Da queste sessioni nascono idee e utilizziamo una combinazione di analisi teoriche e programmazione per stabilire e convalidare le nostre ipotesi. Se i nostri metodi danno risultati, di solito scriviamo un articolo condividendo le nostre intuizioni con la comunità più ampia.

La ricerca di un risultato non è così preziosa senza una comunicazione appropriata e l’abilitazione degli altri a farne un uso efficace. Per questo motivo, dedico molto tempo a presentare il nostro lavoro a conferenze come ICML, a tenere conferenze e a co-consigliare gli studenti. Questo spesso porta a creare nuove connessioni e a scoprire nuovi risultati scientifici da esplorare, avviando nuovamente il ciclo virtuoso!

A ICML…

Presenteremo il nostro articolo, The CLRS algorithmic reasoning benchmark, che speriamo sosterrà e arricchirà gli sforzi nel campo emergente dell’algoritmo di ragionamento neurale. In questa ricerca, assegniamo reti neurali grafiche l’esecuzione di trenta algoritmi diversi dal libro di Introduzione agli algoritmi.

Molti recenti sforzi di ricerca cercano di costruire reti neurali capaci di eseguire calcoli algoritmici, principalmente per dotarle di capacità di ragionamento – che le reti neurali di solito non hanno. Criticamente, ognuno di questi articoli genera il proprio dataset, il che rende difficile tracciare i progressi e alza la barriera di ingresso nel campo.

Il benchmark CLRS, con i suoi generatori di dataset prontamente disponibili e il codice pubblicamente accessibile, cerca di migliorare su queste sfide. Abbiamo già visto un grande entusiasmo dalla comunità, e speriamo di canalizzarlo ancora di più durante ICML.

Il futuro del ragionamento algoritmico…

Il sogno principale della nostra ricerca sul ragionamento algoritmico è catturare il calcolo degli algoritmi classici all’interno di esecutori neurali ad alta dimensione. Questo ci consentirebbe di utilizzare direttamente questi esecutori su rappresentazioni di dati grezzi o rumorosi e quindi “applicare l’algoritmo classico” su input per cui non è stato progettato per essere eseguito.

Ciò che è eccitante è che questo metodo ha il potenziale per consentire l’apprendimento con rinforzo efficiente dei dati. L’apprendimento con rinforzo è ricco di esempi di forti algoritmi classici, ma la maggior parte di essi non può essere applicata in ambienti standard (come Atari), dato che richiedono l’accesso a una grande quantità di informazioni privilegiate. La nostra strategia permetterebbe questo tipo di applicazione catturando il calcolo di questi algoritmi all’interno degli esecutori neurali, dopodiché possono essere direttamente utilizzati sulle rappresentazioni interne di un agente. Abbiamo persino un prototipo funzionante pubblicato a NeurIPS 2021. Non vedo l’ora di vedere cosa succederà dopo!

Non vedo l’ora di…

Non vedo l’ora del Workshop ICML sulla Collaborazione e il Lavoro di Squadra tra Uomo e Macchina, un argomento a me molto caro. Fondamentalmente, credo che le migliori applicazioni dell’IA nasceranno dalla sinergia con gli esperti del dominio umano. Questo approccio è anche molto in linea con il nostro recente lavoro sull’abilitazione dell’intuizione dei matematici puri utilizzando l’IA, pubblicato sulla copertina di Nature alla fine dell’anno scorso.

Gli organizzatori del workshop mi hanno invitato a partecipare a una discussione panel per discutere le implicazioni più ampie di questi sforzi. Parlerò insieme a un gruppo affascinante di co-panellisti, tra cui Sir Tim Gowers, che ho ammirato durante i miei studi universitari al Trinity College di Cambridge. Non c’è bisogno dire che sono davvero entusiasta di questo panel!

Guardando avanti…

Per me, le grandi conferenze come ICML rappresentano un momento di pausa e riflessione sulla diversità e l’inclusione nel nostro settore. Sebbene i formati delle conferenze ibride e virtuali rendano gli eventi accessibili a un numero sempre maggiore di persone, dobbiamo fare molto di più per rendere l’IA un campo diversificato, equo e inclusivo. Le intromissioni legate all’IA ci coinvolgeranno tutti e dobbiamo assicurarci che le comunità sottorappresentate rimangano una parte importante del dibattito.

Questo è esattamente il motivo per cui sto tenendo un corso su Geometric Deep Learning presso l’African Master’s in Machine Intelligence (AMMI) – un argomento del mio proto-libro recentemente co-autore. AMMI offre formazione di alto livello sull’apprendimento automatico ai ricercatori emergenti più brillanti dell’Africa, creando un ecosistema sano di professionisti dell’IA nella regione. Sono molto felice di aver incontrato di recente alcuni studenti AMMI che sono poi entrati a far parte di DeepMind per posizioni di tirocinio.

Sono anche incredibilmente appassionato delle opportunità di divulgazione nella regione dell’Europa orientale, da dove provengo, che mi hanno fornito le basi scientifiche e la curiosità necessarie per padroneggiare i concetti dell’intelligenza artificiale. La comunità di Machine Learning dell’Europa orientale (EEML) è particolarmente impressionante: attraverso le sue attività, gli studenti e i professionisti in erba della regione si mettono in contatto con ricercatori di livello mondiale e ricevono preziosi consigli sulla carriera. Quest’anno ho contribuito a portare EEML nella mia città natale di Belgrado, come uno dei principali organizzatori del Workshop serbo di Machine Learning EEML. Spero che questo sia solo il primo di una serie di eventi per rafforzare la comunità locale dell’IA ed emancipare i futuri leader dell’IA nella regione EE.

‍

Visualizza posizioni aperte: https://www.deepmind.com/careers/jobs?sort=alphabetical