Una nuova ricerca sull’IA introduce REV una rivoluzione nella ricerca sull’IA – una nuova misura informativa che valuta le informazioni nuove e rilevanti per l’etichetta nei ragionamenti in testo libero.

Nuova ricerca sull'IA introduce REV, una rivoluzione nella valutazione delle informazioni rilevanti per l'etichetta nei ragionamenti in testo libero.

Le spiegazioni del modello si sono dimostrate essenziali per la fiducia e l’interpretabilità nell’elaborazione del linguaggio naturale (NLP). Le giustificazioni in forma di testo libero, che forniscono una spiegazione in linguaggio naturale di una previsione del modello, hanno acquisito popolarità grazie alla loro adattabilità nell’elicita il processo di pensiero che ha portato alla scelta del modello, avvicinandosi così alle spiegazioni umane. Tuttavia, le metriche esistenti per la valutazione delle spiegazioni in forma di testo libero sono ancora principalmente basate sull’accuratezza e si concentrano strettamente su quanto bene una giustificazione può assistere un modello (proxy) nella previsione dell’etichetta che spiega. Queste metriche non forniscono alcuna idea sui nuovi dati forniti dalla ragione all’input originale che spiegherebbero perché è stata scelta l’etichetta, la funzione precisa che una giustificazione è destinata a soddisfare.

Ad esempio, anche se forniscono quantità diverse di informazioni fresche e pertinenti, le due giustificazioni r*1 e r*2 nella Fig. 1 verrebbero considerate ugualmente importanti secondo le misure attuali. Per affrontare questo problema, in questo articolo viene introdotta una valutazione automatica per le giustificazioni in forma di testo libero lungo due dimensioni: (1) se la giustificazione supporta (cioè è predittiva) l’etichetta prevista e (2) quanto informazioni aggiuntive aggiunge alla giustificazione dell’etichetta rispetto a quelle già presenti nell’input.

Ad esempio, la giustificazione r^1,b nella Fig. 1 contraddice (1) poiché non prevede l’etichetta “goditi la natura”. Anche se la giustificazione r^1,a supporta l’etichetta, non fornisce alcuna nuova informazione rispetto a ciò che è già stato dichiarato nell’input x per supportarla; di conseguenza, viola la clausola (2). Entrambi i requisiti della giustificazione r*1 sono soddisfatti: fornisce informazioni aggiuntive e pertinenti che vanno oltre l’input per supportare l’etichetta. Sia r^1,a che r^1,b verranno penalizzati nella loro valutazione mentre r^1,a e r^1,b verranno premiati. I ricercatori dell’Università di Virginia, dell’Allen Institute for AI, dell’Università della California del Sud e dell’Università di Washington in questo studio forniscono REV2, un framework informativo per la valutazione delle giustificazioni in forma di testo libero lungo le due dimensioni precedentemente descritte che hanno modificato.

• Come cambiare la tua carriera dal marketing alla scienza dei dati?
• Riduzione dell’impronta di carbonio nella formazione dell’IA tramite ottimizzazione
• I ricercatori di Google AI presentano Pic2Word un nuovo approccio al recupero di immagini composte senza etichetta (ZS-CIR)

REV si basa su V-informazione condizionale, che misura fino a che punto una rappresentazione ha informazioni oltre quelle di una rappresentazione di riferimento ed è disponibile per una famiglia di modelli V. Trattano qualsiasi giustificazione vuota che non fa altro che accoppiare dichiarativamente un input con un’etichetta predefinita senza aggiungere alcuna nuova informazione che possa fare luce sul processo decisionale dietro l’etichetta come rappresentazione di riferimento. Nella valutazione delle giustificazioni, REV adatta l’informazione V-condizionale. Per fare ciò, confrontano due rappresentazioni: una da un modello di valutazione addestrato a produrre l’etichetta data l’input e la giustificazione e l’altra da un altro modello di valutazione per lo stesso compito, ma considerando solo l’input (sotto le spoglie di una giustificazione vuota).

Altre metriche non possono valutare informazioni fresche e pertinenti all’interno delle giustificazioni perché non prendono in considerazione le giustificazioni vuote. Per due compiti di ragionamento, risposta a domande di senso comune e inferenza del linguaggio naturale, su quattro benchmark, offrono valutazioni con REV per le giustificazioni nei loro studi. Numerose valutazioni quantitative mostrano come REV possa fornire valutazioni lungo nuovi assi per le giustificazioni in forma di testo libero, più allineate con i giudizi umani rispetto alle misurazioni attuali. Forniscono anche confronti per mostrare quanto REV sia sensibile a diversi livelli di disturbi dell’input. Inoltre, la valutazione con REV fa luce sul motivo per cui le prestazioni delle previsioni non sono sempre migliorate dalle giustificazioni scoperte attraverso la catena di pensiero.