LG AI Research propone QASA un nuovo set di dati di benchmark di intelligenza artificiale e un approccio computazionale

LG AI Research introduces QASA, a new AI benchmark dataset and computational approach.

Gli esseri umani sono bravi nel ragionamento, e questo ci differenzia dagli altri esseri viventi. Il ragionamento coinvolge il pensiero associativo e il ragionamento logico. Un modo banale di ragionare è fare domande come cosa, quando, dove e perché. Questo ragionamento può portare a nuove scoperte e idee innovative.

Ora, immaginatevi bloccati a scrivere il vostro stesso articolo scientifico e affrontare difficoltà nel fare le giuste domande curiose. A causa del crescente volume di articoli scientifici e articoli professionali, il processo tradizionale non è più praticabile in quanto richiede tempo. Leggere articoli scientifici solleva domande e include test e domande approfondite, che richiedono un ragionamento completo. Per rispondere a domande così naturalmente avanzate, i ricercatori di LG propongono un approccio di Question Answering su articoli scientifici (QASA), che coinvolge un ragionamento cognitivo completo.

I ricercatori hanno progettato uno schema in 3 fasi per guidare i lettori e gli autori a fare domande durante la lettura dell’intero articolo scientifico anziché solo il riassunto. La prima consiste nel consentire al lettore di fare domande avanzate superficiali, di prova e approfondite. In secondo luogo, queste domande e risposte vengono raccolte e confrontate con le domande fatte dai lettori esperti. Infine, i lettori e gli autori vengono invitati a proporre le loro risposte articolate e poliedriche alle domande raccolte.

• La necessità di un gradiente di spiegabilità nell’IA
• Evita l’apocalisse del mercato del lavoro nell’IA Guida per sopravvivere – Parte 1
• Incontra FACTOOL un framework agnostico per compiti e domini per la rilevazione di errori di fatto nei testi generati da grandi modelli linguistici (ad esempio, ChatGPT).

I ricercatori affermano che QASA contiene 1798 coppie di domande e risposte su articoli AI/ML, richieste dai lettori regolari. In media, ogni articolo ha da 15,1 a 29 domande e il 39,4% delle domande si trova a un livello di ragionamento approfondito. Il loro approccio QASA prevede una selezione associativa per estrarre informazioni rilevanti dai paragrafi, la generazione di ragionamenti probatori per comprendere solo il ragionamento probatorio di ciascun paragrafo estratto e la composizione sistematica per collegare i ragionamenti probatori a una risposta completa.

Per garantire domande realistiche, al richiedente è consentito scegliere gli articoli a loro scelta e selezionare se desiderano leggere tutte le sezioni chiamate lettura approfondita o solo una particolare sezione chiamata lettura superficiale e preparare domande che non contengano le risposte. Anche ai rispondenti è stata data la possibilità di scegliere articoli tra quelli su cui hanno lavorato i richiedenti per fornire risposte pertinenti. Ai rispondenti viene fornita una guida per rispondere come un passaggio completo basato sui loro ragionamenti probatori autogenerati dai paragrafi selezionati.

I ricercatori hanno condotto uno schema di valutazione a coppie in cui gli valutatori confrontano due risposte alla stessa domanda. Hanno fornito due risposte ai valutatori, una dallo schema QASA e l’altra da InstructGPT. Le risposte del QA a tutto campo tendono ad essere più complete e saldamente basate rispetto a quelle di InstructGPT.

L’approccio QASA prevede la modellazione di ogni sotto-task con modelli di linguaggio preaddestrati (LM) con istruzioni multi-task. I dati pubblici e sintetici potrebbero fungere da banco di prova per QASA, fornendo un ragionamento cognitivo completo su articoli scientifici e manoscritti. Ciò faciliterà lo sforzo di recuperare e riordinare le informazioni rilevanti da leggere e limitare manualmente le informazioni utili.