Una nuova ricerca sull’IA da DeepMind propone due codifiche posizionali direzionali e strutturali per i grafi diretti.

Nuova ricerca su IA da DeepMind due codifiche posizionali per i grafi diretti.

I modelli di trasformatori hanno recentemente guadagnato molta popolarità. Questi modelli di reti neurali seguono le relazioni in un input sequenziale, come le parole in una frase, per apprendere il contesto e il significato. Con l’introduzione di modelli come GPT 3.5 e GPT 4, proposti da OpenAI, il campo dell’Intelligenza Artificiale e, di conseguenza, del Deep Learning, ha fatto davvero progressi ed è stato argomento di discussione. La programmazione competitiva, la risposta alle domande conversazionali, i problemi di ottimizzazione combinatoria e i compiti di apprendimento dei grafi incorporano tutti i trasformatori come componenti chiave.

I modelli di trasformatori vengono utilizzati nella programmazione competitiva per produrre soluzioni da descrizioni testuali. Il famoso chatbot ChatGPT, che è un modello basato su GPT e un modello di risposta alle domande conversazionali molto apprezzato, è il miglior esempio di un modello di trasformatore. I trasformatori sono stati anche utilizzati per risolvere problemi di ottimizzazione combinatoria come il Problema del Commesso Viaggiatore, e hanno avuto successo nei compiti di apprendimento dei grafi, soprattutto quando si tratta di prevedere le caratteristiche delle molecole.

I modelli di trasformatori hanno dimostrato grande versatilità in modalità come immagini, audio, video e grafi non diretti, ma i trasformatori per grafi diretti ancora mancano di attenzione. Per colmare questa lacuna, un team di ricercatori ha proposto due codifiche posizionali consapevoli della direzione e della struttura appositamente progettate per i grafi diretti. Il Laplaciano Magnetico, un’estensione consapevole della direzione del Laplaciano combinatorio, fornisce la base per la prima codifica posizionale proposta. Gli autovettori forniti catturano informazioni strutturali cruciali tenendo conto della direzionalità degli archi in un grafo. Il modello di trasformatore diventa più consapevole della direzionalità del grafo includendo questi autovettori nel metodo di codifica posizionale, il che gli consente di rappresentare con successo la semantica e le dipendenze presenti nei grafi diretti.

• ChatGPT Investigato dalla Federal Trade Commission per Potenziale Danno
• Elon Musk avverte sull’aumento della superintelligenza in Cina
• Puoi tenere il tuo lavoro, ma non sarà lo stesso lavoro

Le codifiche di random walk direzionali sono la seconda tecnica di codifica posizionale che è stata suggerita. I random walk sono un metodo popolare per esplorare e analizzare i grafi, mediante il quale il modello apprende maggiormente la struttura direzionale di un grafo diretto effettuando random walk nel grafo e incorporando le informazioni di cammino nelle codifiche posizionali. Dato che questo aiuta la comprensione del modello dei collegamenti e del flusso di informazioni all’interno del grafo, questa conoscenza viene utilizzata in una varietà di attività subordinate.

Il team ha condiviso che l’analisi empirica ha mostrato come le codifiche posizionali consapevoli della direzione e della struttura abbiano ottenuto buoni risultati in diversi compiti subordinati. Il testing di correttezza delle reti di ordinamento, che è uno di questi compiti, consiste nel capire se un determinato insieme di operazioni costituisce realmente una rete di ordinamento. Il modello suggerito supera il metodo precedente di stato dell’arte del 14,7%, misurato dal codice di benchmark Open Graph Benchmark Code2, utilizzando le informazioni sulla direzionalità nella rappresentazione grafica delle reti di ordinamento.

Il team ha riassunto i contributi come segue –

1. È stata stabilita una chiara connessione tra le codifiche posizionali sinusoidali, comunemente utilizzate nei trasformatori, e gli autovettori del Laplaciano.

1. Il team ha proposto codifiche posizionali spettrali che si estendono ai grafi diretti, fornendo un modo per incorporare le informazioni sulla direzionalità nelle codifiche posizionali.

1. Le codifiche posizionali di random walk sono state estese ai grafi diretti, consentendo al modello di catturare la struttura direzionale del grafo.

1. Il team ha valutato la capacità predittiva delle codifiche posizionali consapevoli della struttura per varie distanze tra grafi, dimostrandone l’efficacia. Hanno introdotto il compito di prevedere la correttezza delle reti di ordinamento, mettendo in mostra l’importanza della direzionalità in questa applicazione.

1. Il team ha quantificato i benefici di rappresentare una sequenza di istruzioni di programma come un grafo diretto e ha proposto un nuovo metodo di costruzione del grafo per il codice sorgente, migliorando le prestazioni predittive e la robustezza.

1. È stata raggiunta una nuova performance di stato dell’arte sul dataset OGB Code2, specificamente per la predizione del nome di una funzione, con un punteggio F1 superiore del 2,85% e un miglioramento relativo del 14,7%.