Questa ricerca sull’IA analizza le limitazioni e le capacità dei modelli di linguaggio di grandi dimensioni (LLM) basati su trasformatori, sia empiricamente che teoricamente, su compiti compositivi

La ricerca sull'IA analizza i limiti e le capacità dei modelli di linguaggio di grandi dimensioni (LLM) basati su trasformatori su compiti compositivi, sia empiricamente che teoricamente.

ChatGPT è una tendenza e milioni di persone lo utilizzano ogni giorno. Con le sue incredibili capacità di imitare gli esseri umani, come rispondere alle domande, generare contenuti unici e creativi, riassumere enormi quantità di dati testuali, completare il codice e sviluppare assistenti virtuali estremamente utili, ChatGPT rende la nostra vita più facile. Sviluppato da OpenAI, ChatGPT si basa su GPT 3.5 (Generative Pre-Trained Transformer) e sull’architettura del trasformatore di GPT 4. GPT 4, l’ultima versione dei modelli di linguaggio rilasciati da OpenAI, è multimodale, ovvero accetta input sotto forma di testo e immagini, a differenza delle versioni precedenti. Anche altri modelli di linguaggio di grandi dimensioni (LLM) come PaLM, LLaMA e BERT vengono utilizzati in applicazioni di vari settori che coinvolgono sanità, e-commerce, finanza, educazione, ecc.

Un team di ricercatori ha evidenziato la differenza tra l’impressionante performance di LLM come GPT su compiti complessi e le difficoltà che incontrano con compiti semplici in un recente articolo di ricerca pubblicato. Approfondendo le limitazioni e le capacità dei Transformer LLM, il team ha condotto esperimenti su tre compiti compositivi rappresentativi: moltiplicazione a più cifre, rompicapi logici a griglia e un classico problema di programmazione dinamica. Questi compiti consistono nel suddividere i problemi in passaggi più piccoli e combinare tali passaggi per produrre una soluzione esatta.

Con l’obiettivo di studiare i limiti dei Transformer nella risoluzione di compiti compositivi che richiedono ragionamento a più passaggi, gli autori hanno proposto due ipotesi. La prima ipotesi è che i Transformer completino i compiti linearizzando il ragionamento a più passaggi in corrispondenza di percorsi, affidandosi quindi al riconoscimento di modelli e all’apprendimento di scorciatoie anziché comprendere e implementare effettivamente le regole computazionali sottostanti necessarie per sviluppare soluzioni corrette. Questo approccio consente previsioni rapide e accurate su modelli simili durante l’addestramento, ma non riesce a generalizzare ad esempi complessi non comuni. La seconda ipotesi afferma che i Transformer possono avere limitazioni intrinseche nel tentativo di risolvere compiti compositivi ad alta complessità con pattern unici. Gli errori computazionali precoci potrebbero diffondersi e causare errori di accumulo gravi nei passaggi successivi, impedendo ai modelli di arrivare alla soluzione corretta.

• Sfruttare l’apprendimento automatico per lo sviluppo di una strategia di marketing efficace
• Optimizzazione del controllore PID Un approccio di discesa del gradiente
• Input vocale e linguaggio naturale per la tua app mobile utilizzando LLM

Gli autori hanno formulato i compiti compositivi come grafi di calcolo al fine di indagare le due ipotesi. Questi grafi scompongono il processo di risoluzione dei problemi in passaggi funzionali submodulari più piccoli e gestibili, consentendo misure strutturate della complessità del problema e verbalizzazione dei passaggi di calcolo come sequenze di input per i modelli di linguaggio. Utilizzano anche il guadagno di informazione per fare previsioni sui modelli che probabilmente impareranno in base alla distribuzione del compito sottostante senza eseguire calcoli completi all’interno del grafo.

Sulla base dei risultati empirici, gli autori hanno proposto che i Transformer gestiscano le sfide compositive riducendo il ragionamento a più passaggi in corrispondenza di sottografi linearizzati. Hanno fornito argomenti teorici basati su problemi astratti di ragionamento a più passaggi, che mettono in evidenza come all’aumentare della complessità del compito, le prestazioni dei Transformer si deteriorino rapidamente. Ciò dimostra che i modelli potrebbero già essere limitati nella loro capacità di gestire problemi compositivi di grande complessità.

In conclusione, i risultati empirici e teorici implicano che, anziché una comprensione approfondita dei processi di pensiero sottostanti, le prestazioni dei Transformer sono principalmente guidate dal riconoscimento di modelli e dalla corrispondenza di sottografi, il che supporta anche l’idea che i Transformer potrebbero trovare difficoltà nell’affrontare compiti sempre più complessi.