I modelli di linguaggio profondo stanno migliorando sempre di più imparando a prevedere la parola successiva dal suo contesto è davvero ciò che fa il cervello umano?

I modelli di linguaggio profondo stanno migliorando sempre di più imparando a prevedere la parola successiva dal contesto, come il cervello umano?

L’apprendimento profondo ha compiuto progressi significativi nella generazione, traduzione e completamento di testi negli ultimi anni. Gli algoritmi addestrati a prevedere le parole dal loro contesto circostante sono stati fondamentali per raggiungere questi progressi. Tuttavia, nonostante l’accesso a vasti quantitativi di dati di addestramento, i modelli di linguaggio profondo hanno ancora bisogno di aiuto per svolgere compiti come la generazione di storie lunghe, la sintesi, il dialogo coerente e il recupero delle informazioni. Questi modelli hanno dimostrato di aver bisogno di aiuto per catturare le proprietà sintattiche e semantiche e la loro comprensione linguistica deve essere più superficiale. La teoria del coding predittivo suggerisce che il cervello umano faccia previsioni su diverse scale di tempo e livelli di rappresentazione nell’ambito dell’organizzazione corticale. Sebbene studi precedenti abbiano mostrato evidenze di previsioni del linguaggio nel cervello, la natura delle rappresentazioni previste e il loro ambito temporale rimangono in gran parte sconosciuti. Recentemente, i ricercatori hanno analizzato i segnali cerebrali di 304 individui che ascoltavano storie brevi e hanno scoperto che il potenziamento dei modelli di linguaggio profondo con previsioni a lungo raggio e a più livelli migliorava la mappatura cerebrale.

I risultati di questo studio hanno rivelato un’organizzazione gerarchica delle previsioni linguistiche nella corteccia. Queste scoperte sono in linea con la teoria del coding predittivo, che suggerisce che il cervello faccia previsioni su diversi livelli e scale di espressione. I ricercatori possono colmare il divario tra l’elaborazione del linguaggio umano e gli algoritmi di apprendimento profondo incorporando queste idee nei modelli di linguaggio profondo.

Lo studio attuale ha valutato ipotesi specifiche della teoria del coding predittivo, esaminando se l’organizzazione corticale prevede diversi livelli di rappresentazione, che spaziano su più scale di tempo, oltre alle previsioni di vicinato e di livello di parola solitamente apprese negli algoritmi di linguaggio profondo. I modelli di linguaggio profondo e l’attività cerebrale di 304 persone che ascoltavano racconti parlati sono stati confrontati. È stato scoperto che le attivazioni degli algoritmi di linguaggio profondo integrati con previsioni a lungo raggio e a livello elevato descrivono meglio l’attività cerebrale.

• Come emerge una AI-tocrazia
• Incontra DeepOnto un pacchetto Python per l’ingegneria dell’ontologia con il Deep Learning
• Microsoft e KPMG siglano una partnership da 2 miliardi di dollari nell’ambito dell’intelligenza artificiale

Lo studio ha apportato tre principali contributi. Inizialmente, è stato scoperto che il solco supramarginale e le cortecce frontali laterale, dorsolaterale e inferiore avevano le distanze di previsione più ampie e prevedevano attivamente le future rappresentazioni linguistiche. Il solco temporale superiore e il solco sono meglio modellati da previsioni a basso livello, mentre le previsioni ad alto livello modellano meglio le regioni temporali medie, parietali e frontali. In secondo luogo, la profondità delle rappresentazioni previsionali varia lungo una simile architettura anatomica. Infine, è stato dimostrato che i tratti semantici, piuttosto che quelli sintattici, sono ciò che influenzano le previsioni a lungo termine.

Secondo i dati, i giros laterale, dorsolaterale, inferiore e supramarginale hanno dimostrato di avere le distanze previste più lunghe. Queste aree corticali sono associate a attività esecutive di alto livello come il pensiero astratto, la pianificazione a lungo termine, la regolazione dell’attenzione e la semantica di alto livello. Secondo la ricerca, queste regioni, che si trovano in cima alla gerarchia del linguaggio, potrebbero prevedere attivamente le future rappresentazioni linguistiche oltre a elaborare passivamente gli stimoli passati.

Lo studio ha anche dimostrato variazioni nella profondità delle rappresentazioni previsionali lungo la stessa organizzazione anatomica. Il solco temporale superiore e il solco sono meglio modellati da previsioni a basso livello, mentre le previsioni ad alto livello modellano meglio le regioni temporali medie, parietali e frontali. I risultati sono coerenti con l’ipotesi. A differenza degli algoritmi di linguaggio attuali, il cervello prevede rappresentazioni a diversi livelli anziché solo a livello di parola.

Infine, i ricercatori hanno separato le attivazioni cerebrali in rappresentazioni sintattiche e semantiche, scoprendo che le caratteristiche semantiche – piuttosto che quelle sintattiche – influenzano le previsioni a lungo termine. Questo risultato supporta l’ipotesi che il cuore dell’elaborazione del linguaggio a lungo termine possa coinvolgere la previsione semantica di alto livello.

La conclusione generale dello studio è che i benchmark per l’elaborazione del linguaggio naturale potrebbero essere migliorati e i modelli potrebbero diventare più simili al cervello addestrando costantemente gli algoritmi a prevedere numerose scale di tempo e livelli di rappresentazione.