Apprendimento di rappresentazioni su grafi e reti

Apprendimento su grafi e reti

Nota dell’editore: il Dr. Petar Veličković è un relatore per ODSC West 2023. Assicurati di dare un’occhiata alla sua presentazione, “Apprendimento della rappresentazione su grafi e reti”!

Lo scopo principale del mio intervento a ODSC West sarà quello di consentire ai partecipanti di assimilare i concetti chiave del settore e posizionare l’apprendimento della rappresentazione su grafi in un contesto adeguato con campi correlati, rendendo l’apprendimento della rappresentazione su grafi facile da navigare, sfruttare e contribuire. Questo seguirà da vicino un articolo di rassegna che ho pubblicato di recente in Current Opinion in Structured Biology.

In particolare, il mio intervento presenterà un’area vivace ed eccitante della ricerca sull’apprendimento profondo: l’apprendimento della rappresentazione su grafi. Ovvero, costruire modelli di apprendimento automatico su dati che vivono su grafi (strutture interconnesse di nodi collegati da archi). Questi modelli sono comunemente noti come reti neurali su grafi, o GNN per breve. C’è una buona ragione per studiare i dati sui grafi, poiché, in molti modi, i grafi sono la modalità principale dei dati che riceviamo dalla natura. Dalla molecola (un grafo di atomi collegati da legami chimici) fino alla struttura connettomica del cervello (un grafo di neuroni collegati da sinapsi), i grafi sono un linguaggio universale per descrivere gli organismi viventi, a tutti i livelli di organizzazione. Allo stesso modo, la maggior parte dei costrutti artificiali rilevanti per gli esseri umani, dalla rete di trasporto (un grafo di incroci collegati da strade) alla rete sociale (un grafo di utenti collegati da legami di amicizia), sono meglio ragionati in termini di grafi.

• Semplificazione dell’analisi delle serie temporali per i data scientist
• Saturn Un nuovo approccio per l’addestramento di grandi modelli di linguaggio e altre reti neurali
• Costruire un assistente alimentato da ChatGPT e abilitato alla voce utilizzando React e Express

Questo potenziale è stato realizzato negli ultimi anni sia da gruppi scientifici che industriali, con le GNN ora utilizzate per scoprire nuovi antibiotici potenti, fornire tempi di percorrenza stimati in Google Maps, alimentare raccomandazioni di contenuti su Pinterest e raccomandazioni di prodotti su Amazon e progettare l’ultima generazione di hardware per l’apprendimento automatico: il TPUv5. Inoltre, i sistemi basati sulle GNN hanno aiutato i matematici a scoprire la struttura nascosta degli oggetti matematici, portando a nuove congetture di alto livello nell’area della teoria della rappresentazione. Non sarebbe un’eccessiva affermazione dire che miliardi di persone entrano in contatto con le previsioni di una GNN, quotidianamente. Pertanto, è probabile che lo studio delle GNN sia una ricerca preziosa, anche senza ambire a contribuire direttamente al loro sviluppo.

Oltre a ciò, è probabile che i processi cognitivi stessi che guidano il nostro ragionamento e la nostra presa di decisioni siano, in qualche modo, strutturati come grafi. Cioè, parafrasando una citazione di Jay Wright Forrester, “nessuno immagina davvero nella propria testa tutte le informazioni conosciute; piuttosto, immaginano solo concetti selezionati, e le relazioni tra di loro, e li usano per rappresentare il sistema reale”. Se aderiamo a questa interpretazione della cognizione, è piuttosto improbabile che saremo in grado di costruire un sistema generalmente intelligente senza qualche componente basato sull’apprendimento della rappresentazione su grafi. Nota che questa scoperta non entra in conflitto con il fatto che molti recenti sistemi di apprendimento automatico abili si basano sull’architettura Transformer – come scopriremo in questa presentazione, i Transformer sono essi stessi un caso speciale di GNN.

Riguardo all’autore/relatore di ODSC West:

Petar Veličković è un ricercatore scientifico presso Google DeepMind, docente affiliato presso l’Università di Cambridge e associato di Clare Hall, Cambridge. Petar ha conseguito un dottorato di ricerca in Informatica presso l’Università di Cambridge (Trinity College), sotto la supervisione di Pietro Liò. La sua ricerca riguarda l’apprendimento profondo geometrico: ideare architetture di reti neurali che rispettino le invarianze e le simmetrie nei dati (argomento su cui ho scritto un protolibro). La ricerca di Petar è stata utilizzata per migliorare notevolmente le previsioni dei tempi di percorrenza in Google Maps e guidare l’intuizione dei matematici verso nuovi teoremi e congetture di alto livello.