Incontra ULTRA un modello di fondazione preaddestrata per il ragionamento sui grafi di conoscenza che funziona su qualsiasi grafo e supera i modelli controllati SOTA su oltre 50 grafi.

Abbiamo incontrato ULTRA il fondotinta pre-allenato che rivoluziona il ragionamento sui grafi di conoscenza, superando i migliori modelli controllati SOTA su oltre 50 grafi!

ULTRA è un modello progettato per apprendere rappresentazioni grafiche universali e trasferibili per knowledge graph (KG). ULTRA crea illustrazioni relazionali condizionandole alle interazioni, consentendogli di generalizzare a qualsiasi KG con diverse entità e vocabolario di relazioni. Un modello ULTRA pre-addestrato mostra un’impressionante inferenza induttiva a zero shot su nuovi grafi negli esperimenti di previsione dei collegamenti, superando spesso i baselines specializzati.

Ricercatori provenienti da numerosi istituti si sono uniti per affrontare la sfida di creare modelli fondamentali per i KG capaci di inferenza universale. Presenta ULTRA, un modello per l’apprendimento di rappresentazioni grafiche versatili che non si basa sulle informazioni testuali. Il loro studio distingue ULTRA dagli approcci basati sul testo e discute i tipi di dataset utilizzati negli esperimenti, compresi i dataset transduttivi e induttivi con nuove entità. Vengono esaminati i metodi induttivi esistenti per la previsione dei collegamenti nei KG, sottolineandone i limiti.

Il loro metodo discute la sfida di applicare il paradigma di pre-addestramento e messa a punto, che ha avuto successo in domini come il linguaggio e la visione, ai KG a causa delle loro varie entità e vocabolari di relazioni. ULTRA è un approccio per l’apprendimento di rappresentazioni grafiche universali che consente il trasferimento a zero shot verso nuovi KG con diverse relazioni e strutture. ULTRA sfrutta le interazioni tra le relazioni, facilitando la generalizzazione tra KG di varie dimensioni e vocabolari relazionali, al fine di consentire un efficace pre-addestramento e messa a punto per il ragionamento sui KG.

ULTRA è introdotto per apprendere rappresentazioni grafiche universali, consentendo l’inferenza su grafi con vocbulari di entità e relazioni variabili. Utilizza un algoritmo in tre fasi per sollevare il grafo, ottenere rappresentazioni delle relazioni condizionate alle query e prevedere i collegamenti. Le prestazioni di ULTRA vengono confrontate con baselines specializzati su 57 KG, mostrando un’ottima inferenza induttiva a zero shot. La messa a punto migliora le prestazioni, rendendole competitive o superiori rispetto ai modelli baselines addestrati su grafi specifici.

Il metodo proposto per le rappresentazioni grafiche universali, ULTRA, si comporta eccezionalmente bene nell’inferenza a zero shot, superando spesso i baselines addestrati su grafi specifici. Le prestazioni di ULTRA possono essere ulteriormente migliorate mediante messa a punto, riducendo efficacemente il divario tra il pre-addestramento e i risultati baselines. ULTRA registra notevoli miglioramenti su grafi in induttivi più piccoli, raggiungendo prestazioni quasi tre volte migliori su FB-25 e FB-50. Le metriche di valutazione includono MRR e H10, riportate per l’intero set di entità.

In conclusione, ULTRA offre rappresentazioni grafiche universali e trasferibili, eccellendo nella formazione e nell’inferenza su grafi multi-relazionali diversi senza caratteristiche di input. Supera i baselines supervisionati personalizzati su una vasta gamma di grafi, anche in scenari di zero shot, in media di 15, con ulteriori miglioramenti tramite messa a punto. La capacità di ULTRA di generalizzare a nuovi grafi non visti con diverse strutture relazionali lo rende una scelta promettente per il ragionamento sui knowledge graph induttivi e trasferibili. La valutazione di 57 KG mostra in modo consistente prestazioni superiori rispetto ai baselines addestrati su grafi specifici.

Lavori futuri suggeriscono di esplorare ulteriori strategie per catturare le interazioni tra le relazioni. Si sottolinea la necessità di valutazioni comprensive che vanno oltre Hits10, con 50 negativi casuali. La ricerca attuale incoraggia a investigare i potenziali benefici del trasferimento di apprendimento per l’apprendimento delle rappresentazioni dei KG, che devono ancora essere completamente esplorati. Raccomanda anche la ricerca di metodi di apprendimento induttivi che generalizzino a KG con set di relazioni variabili.