Nuovo metodo sviluppato da ricercatori di Microsoft e MIT spera di ridurre le allucinazioni dell’IA

Nuovo metodo per ridurre le allucinazioni dell'IA sviluppato da Microsoft e MIT

Nel campo dell’NLP, i grandi modelli di linguaggio hanno svolto un ruolo fondamentale nel modo in cui interagiamo con i dati testuali. Nonostante ci siano stati progressi significativi, il problema delle “allucinazioni” può continuare a persistere. Le allucinazioni si verificano quando i modelli generano informazioni inconsistenti con i fatti del mondo reale.

Secondo un nuovo articolo di un gruppo di ricercatori del MIT e di Microsoft, un nuovo approccio potrebbe contribuire a ridurre i casi di allucinazioni dell’IA. Uno dei problemi associati alle allucinazioni dell’IA sono i pericoli legati a questi problemi.

Ciò è particolarmente preoccupante quando si tratta di applicazioni destinate alle industrie cliniche e legali. Questo è spesso dovuto a standard regolatori e di conformità unici, che significano che il rischio di allucinazioni dell’IA può creare problemi legali e di responsabilità unici.

Ecco dove entra in gioco DoLa. La strategia di DoLa prevede di dare priorità alle informazioni provenienti dai livelli più profondi del modello, riducendo l’importanza di quelle provenienti da livelli intermedi o meno profondi. Questo approccio di decodifica contrastiva migliora le conoscenze fattuali del LLM senza la necessità di recuperare conoscenze esterne o di ulteriori affinamenti.

Fino ad ora, i risultati sperimentali sembrano promettenti. È stato dimostrato che migliora l’integrità dei LLM come LLaMA su TruthfulQA e FACTOR datasets. Inoltre, gli esperimenti incentrati sul ragionamento a catena di pensiero in StrategyQA e GSM8K cc suggeriscono il suo potenziale per migliorare notevolmente il ragionamento fattuale.

Ma diventa ancora più interessante. Quando valutato utilizzando GPT-4 per la produzione di testo a domanda aperta, DoLa genera risposte informative e significativamente più fattuali, ottenendo valutazioni superiori rispetto ai metodi di decodifica tradizionali. Inoltre, aggiunge solo una quantità minima di tempo al processo di decodifica, rendendolo una soluzione pratica ed efficiente.

Anche se la ricerca sembra promettente, bisogna tenere presente che nell’articolo si fa notare che il team non ha esteso i propri test ad altri ambiti, come l’esecuzione di istruzioni o la risposta ai feedback umani. Inoltre, il loro approccio si basa esclusivamente su un’architettura e su parametri preesistenti, limitando il campo delle possibili migliorie.

A differenza dei LLM con recupero potenziato, DoLa si basa interamente sulle conoscenze preesistenti del modello, evitando di aggiungere nuove informazioni tramite moduli di recupero esterni. I ricercatori esprimono la speranza che i futuri lavori integrino questi componenti, superando potenzialmente queste limitazioni.

Se sei interessato, puoi trovare il repository GitHub di DoLa qui.