Ricercatori dell’UC San Diego e Qualcomm presentano Natural Program un potente strumento per la verifica senza sforzo di catene di ragionamento rigorose in linguaggio naturale – un cambiamento di gioco per l’AI.

UC San Diego and Qualcomm researchers unveil Natural Program, a powerful tool for effortless verification of rigorous reasoning chains in natural language - a game changer for AI.

Il più recente e incredibile avanzamento nel campo dell’Intelligenza Artificiale è lo sviluppo di Large Language Models (LLM). Il famosissimo ChatGPT sviluppato da OpenAI, basato sull’architettura GPT 3.5 e GPT 4, è di grande utilità e soprattutto fa notizia per la generazione di contenuti e la risposta alle domande in modo molto simile a quello umano. La sua capacità di imitare gli esseri umani nella generazione di contenuti creativi e precisi gli consente di affrontare la risoluzione dei problemi in quasi tutti i settori. Con l’aggiunta del prompting Chain-of-Thought (CoT), l’impatto dei LLM come GPT 3.5 è migliorato, con significativi cambiamenti nell’industria del processing delle informazioni. CoT migliora i LLM e li aiuta a generare processi di ragionamento più completi ed elaborati in una serie di passaggi intermedi.

Anche se CoT offre molti vantaggi, la sua enfasi sulle fasi di ragionamento intermedie talvolta provoca allucinazioni e errori complessi, rendendo difficile per i modelli generare processi di ragionamento coerenti e precisi. Si sono compiuti molti sforzi per consentire ai LLM di eseguire il ragionamento deduttivo esplicito e rigoroso, trarre ispirazione dal modo in cui gli esseri umani si impegnano nei procedimenti di ragionamento logico deduttivo deliberato per risolvere i problemi. Per affrontare queste sfide, un team di ricercatori ha introdotto il Natural Program, un formato di ragionamento deduttivo basato sul linguaggio naturale che utilizza la potenza intrinseca del linguaggio naturale per raggiungere il ragionamento deduttivo.

Il team ha affermato che questo approccio suddivide il processo di verifica del ragionamento in una serie di sottoprocessi sequenziali. Solo il contesto e le premesse richieste per il particolare passaggio vengono forniti a ciascun sottoprocesso, e la decomposizione rende il processo di verifica più accessibile. Gli autori hanno utilizzato modelli accessibili pubblicamente come GPT-3.5-turbo (175B) di OpenAI per eseguire trial su dataset per l’aritmetica e il buon senso per mostrare l’efficacia della loro tecnica di verifica basata sul programma naturale. I risultati hanno dimostrato quanto bene la loro strategia abbia funzionato per aumentare l’affidabilità dei processi di ragionamento prodotti da grandi modelli di linguaggio.

• Ricercatori di Stanford e Cornell presentano Tart un innovativo modulo plug-and-play Transformer che potenzia le capacità di ragionamento dell’AI in modo task-agnostico.
• Come dovremmo archiviare le immagini AI? I ricercatori di Google propongono un metodo di compressione delle immagini utilizzando modelli generativi basati sul punteggio.
• Ricercatori di Microsoft e UC Santa Barbara propongono LONGMEM un framework di intelligenza artificiale che consente a LLM di memorizzare una lunga storia.

Il formato Natural Program consente ai modelli linguistici di generare passaggi di ragionamento precisi, garantendo che i passaggi successivi siano ancorati in modo più rigoroso sui passaggi precedenti. I modelli linguistici eseguono la verifica del ragionamento in modo autonomo, passo dopo passo, utilizzando questa struttura, e le fasi di ragionamento risultanti sono più rigorose e affidabili poiché una procedura di verifica è integrata in ogni livello di ragionamento deduttivo.

Alcune delle principali contribuzioni menzionate dal team sono:

1. Con l’introduzione del formato Natural Program, il team ha proposto un quadro per il ragionamento deduttivo rigoroso, adatto alla verifica e semplicemente prodotto mediante apprendimento in contesto.

1. È stato dimostrato che i lunghi processi di ragionamento deduttivo scritti nel formato Natural Program proposto possono essere affidabilmente autenticati autonomamente utilizzando sottoprocessi passo dopo passo che coprono solo il contesto e le premesse necessarie.

1. Attraverso gli esperimenti, il team ha dimostrato come efficacemente il quadro migliori l’accuratezza, l’affidabilità e l’interpretabilità delle fasi di ragionamento e delle soluzioni generate dai LLM.

In conclusione, questo quadro sembra promettente per migliorare le capacità di ragionamento deduttivo dei modelli linguistici.