Incontra REPLUG un framework di modellazione del linguaggio (LM) a recupero potenziato che combina un modello di linguaggio congelato con un recuperatore congelato/regolabile, migliorando le prestazioni di GPT-3 (175B) nella modellazione del linguaggio del 6,3%.
RePLUG è un framework di modellazione del linguaggio (LM) che migliora le prestazioni di GPT-3 (175B) del 6,3% combinando un modello di linguaggio congelato con un recuperatore congelato/regolabile.
Negli ultimi anni, i modelli di linguaggio sono diventati uno dei settori in più rapida crescita nell’Intelligenza Artificiale. Questi modelli, sviluppati per elaborare e produrre testi in linguaggio naturale, stanno guidando alcune delle applicazioni di IA più innovative e rivoluzionarie e si trovano all’avanguardia di una nuova era nell’espansione dell’IA. Un modello di linguaggio in particolare, GPT-3, ha suscitato scalpore in tutto il mondo per le sue straordinarie capacità e prestazioni. GPT-3 utilizza un’architettura di trasformazione per elaborare il testo, dando origine a un modello che può rispondere facilmente alle domande come farebbe un essere umano. Non solo questo, il modello è persino in grado di riassumere lunghi paragrafi, completare codici e completare compiti con una velocità e una precisione senza pari.
I modelli di linguaggio come GPT-3 sono ancora lontani dalla perfezione e presentano limitazioni quando si tratta di generare risposte precise e appropriate a nuovi stimoli. È qui che entra in gioco REPLUG. È stato introdotto un nuovo metodo chiamato REPLUG: un framework di modelli di linguaggio potenziato da retrieval. Si tratta di un metodo per migliorare le prestazioni dei modelli di linguaggio “black-box” combinandoli con una struttura basata su retrieval. Il sistema di retrieval trova i passaggi più appropriati in un ampio corpus di testo che corrispondono a uno stimolo dato, e quindi il modello di linguaggio viene regolato sui passaggi recuperati. Ciò consente al modello di linguaggio di produrre risposte più accurate, soprattutto quando lo stimolo non è stato visto nei dati di addestramento.
Il metodo REPLUG consiste in due passaggi principali: il retrieval del documento e la riformulazione dell’input. Inizialmente, viene utilizzato un retriever per identificare i documenti correlati da un corpus esterno. Successivamente, ogni documento recuperato viene aggiunto in modo distinto al contesto di input originale e le probabilità di output vengono combinate attraverso diverse iterazioni. Questo approccio utilizza una rete neurale profonda che alimenta meccanismi di attenzione per apprendere le relazioni tra le diverse modalità.
- 8 Linguaggi di Programmazione per Data Science da Apprendere nel 2023
- Deep Learning per oggetti profondi ZoeDepth è un modello di intelligenza artificiale per la stima della profondità in multi-dominio.
- Utilizzare i grafici a raggi di sole di Plotly Express per esplorare i dati geologici
REPLUG è stato testato su diversi set di dati di benchmark, inclusi un ampio set di dati di didascalie delle immagini, e ha mostrato risultati migliori rispetto ai sistemi esistenti in termini di precisione e scalabilità. Uno dei principali vantaggi di REPLUG è che non richiede alcuna modifica all’architettura sottostante del modello di linguaggio. I modelli attuali come GPT-3 possono essere migliorati aggiungendo un sistema di retrieval. Ciò rende REPLUG facile da accedere e implementare. REPLUG con il retriever tarato migliora significativamente le prestazioni di GPT-3 (175B) nella modellazione del linguaggio del 6,3%, così come le prestazioni di Codex nella classificazione MMLU a cinque prove del 5,1%.
Di conseguenza, l’introduzione di REPLUG sembra essere un cambiamento epocale nel campo del NLP. Combina i punti di forza sia dei modelli di linguaggio “black-box” che dei sistemi di retrieval per generare un modello ibrido che supera i modelli di linguaggio tradizionali. L’architettura di rete neurale profonda utilizzata da REPLUG è scalabile, rendendola adatta per applicazioni reali che richiedono l’elaborazione di enormi quantità di dati multi-modali. Le potenziali applicazioni per REPLUG sono sicuramente enormi e sembrano promettenti per il futuro prossimo.
