I Ricercatori di Meta AI Presentano RA-DIT Un Nuovo Approccio di Intelligenza Artificiale per Il Retrofitting dei Modelli di Linguaggio con Capacità di Recupero Migliorate per Attività Conoscitive Intensive.

I Ricercatori di Meta AI Presentano RA-DIT Un Nuovo Approccio di Intelligenza Artificiale per il Retrofitting dei Modelli di Linguaggio con Migliorate Capacità di Recupero nelle Attività Intensive di Conoscenza.

Per affrontare le limitazioni dei grandi modelli di linguaggio (LLM) nella cattura di conoscenze meno comuni e i costi computazionali elevati dell’addestramento estensivo, i ricercatori di Meta introducono Retrieval-Augmented Dual Instruction Tuning (RA-DIT). RA-DIT è una metodologia di fine-tuning leggera progettata per dotare qualsiasi LLM di capacità di recupero efficienti. Funziona attraverso due distinti stadi di fine-tuning, ognuno dei quali offre miglioramenti significativi delle prestazioni. Ottimizzando l’uso delle informazioni recuperate da parte del LM e la rilevanza dei contenuti del recupero, RA-DIT offre una soluzione promettente per migliorare le capacità di recupero delle LLM.

RA-DIT fornisce un metodo di fine-tuning leggero a due fasi per migliorare le capacità di recupero delle LLM. Ottimizza le LLM per utilizzare meglio le informazioni recuperate e raffina i recupinatori per fornire risultati più rilevanti contextualmente preferiti dalla LLM. RA-DIT supera i modelli di recupero-aumentati esistenti nei benchmark di apprendimento intensivo di conoscenza zero e few-shot, dimostrando la sua superiorità nell’incorporare conoscenze esterne nelle LLM per prestazioni migliorate.

I ricercatori hanno introdotto RA-DIT per dotare le LLM di capacità di recupero. RA-DIT coinvolge due stadi chiave di fine-tuning: prima, migliorando l’utilizzo delle informazioni recuperate di una LLM pre-addestrata e poi, raffinando il recupinatore per fornire risultati più rilevanti contextualmente preferiti dalla LLM. Il loro approccio utilizza il modello di linguaggio LLAMA, pre-addestrato su un’ampia base di dati e utilizza un’architettura di recupinatore a doppio encoder inizializzata con il modello DRAGON. Inoltre, il loro metodo menziona l’uso di un’augmentazione parallela del recupero in contesto per un calcolo più efficiente delle previsioni delle LLM.

• I Ricercatori di Meta AI Propongono LLMs ad Avanzato Lungo Contesto Un Approfondimento sulle Tecniche di Sovrapposizione, Allenamento e Superamento delle Prestazioni di GPT-3.5-Turbo-16k.
• 5 casi d’uso di IA generativa che le aziende possono implementare oggi
• Superare le allucinazioni nell’IA come il RLHF aumentato di fatto ottimizza l’allineamento visione-linguaggio nei grandi modelli multimodali

Il loro metodo raggiunge notevoli miglioramenti delle prestazioni, con RA-DIT 65B che stabilisce nuovi benchmark nelle attività di apprendimento zero e few-shot intensive di conoscenza, superando ampiamente i modelli di linguaggio di recupero-aumentato nel contesto (RALM) esistenti. RA-DIT dimostra l’efficacia dell’addestramento leggero delle istruzioni nel migliorare le prestazioni dei RALM, in particolare in scenari in cui è necessario accedere a conoscenze esterne estese.

RA-DIT eccelle nei benchmark di apprendimento zero e few-shot intensivo di conoscenza, superando i modelli di linguaggio di recupero-aumentato nel contesto (RALM) esistenti fino al +8,9% nella modalità 0-shot e +1,4% nella modalità 5-shot in media. Il modello migliore, RA-DIT 65B, mostra miglioramenti sostanziali nelle attività che richiedono l’utilizzo delle conoscenze e la consapevolezza contestuale. RA-DIT preserva le capacità parametriche di conoscenza e ragionamento, superando i modelli di base di LLAMA su 7 dei 8 set di valutazione del ragionamento di buon senso. L’analisi di ablazione e l’augmentazione parallela del recupero in contesto evidenziano ulteriormente l’efficacia di RA-DIT nel migliorare i modelli di linguaggio di recupero-aumentato, in particolare per l’accesso a conoscenze estese.

In conclusione, il loro approccio introduce RA-DIT, che migliora le prestazioni dei modelli di linguaggio pre-addestrati con capacità di recupero. RA-DIT raggiunge risultati di primo piano nelle valutazioni zero few-shot su benchmark intensivi di conoscenza, superando i modelli di linguaggio di recupero-aumentato nel contesto e competendo efficacemente con i metodi pre-addestrati in modo estensivo. Migliora significativamente le prestazioni nelle attività che richiedono l’utilizzo delle conoscenze e la consapevolezza contestuale. RA-DIT 65B supera i modelli esistenti, dimostrando l’efficacia dell’addestramento leggero delle istruzioni per i modelli di linguaggio di recupero-aumentato, specialmente in scenari che coinvolgono vaste fonti di conoscenza esterna.