AI Vedi ciò che vedi Mind’s Eye è un modello di AI che può ricostruire le scansioni cerebrali in immagini.

Mind's Eye è un modello di AI che ricostruisce scansioni cerebrali in immagini.

Siamo da tempo affascinati dalla sfida di comprendere il funzionamento del nostro cervello. Il campo della neuroscienza si è sviluppato molto, ma ancora mancano informazioni solide su come funzionino i nostri cervelli nel dettaglio. Stiamo lavorando sodo per scoprirlo, ma abbiamo ancora molta strada da fare.

Un argomento su cui la neuroscienza si è concentrata è stato la decodifica della complessa relazione tra l’attività cerebrale e gli stati cognitivi. Una comprensione più approfondita di come gli input ambientali siano codificati nei processi neurali ha un grande potenziale per avanzare nella conoscenza del cervello e dei suoi meccanismi. I recenti progressi nei metodi computazionali hanno aperto nuove opportunità per svelare questi misteri, con la risonanza magnetica funzionale (fMRI) che emerge come un potente strumento in questo campo. Rilevando le variazioni dei livelli di ossigenazione del sangue, la fMRI consente di misurare l’attività neurale e ha già trovato applicazioni in ambienti clinici in tempo reale.

Una particolare applicazione promettente della fMRI è il suo potenziale per la lettura della mente nelle interfacce cervello-computer. Decodificando i pattern di attività neurale, diventa possibile inferire informazioni sullo stato mentale di una persona e persino ricostruire immagini dalla sua attività cerebrale. Studi precedenti in questo settore hanno prevalentemente utilizzato mapping semplici, come la regressione ridge, per correlare l’attività della fMRI ai modelli di generazione di immagini.

• Scrivere canzoni con GPT-4 Parte 3, Melodie
• Andata e Ritorno… un Racconto RAPIDS
• Esplorazione di modelli di lingua con ottimizzazione delle istruzioni incontrare Tülu – una suite di grandi modelli di lingua (LLM) ottimizzati

Tuttavia, come in tutti gli altri settori, l’emergere di modelli di IA di successo ha causato enormi progressi nella ricostruzione delle immagini cerebrali. Abbiamo visto alcuni metodi che cercano di ricostruire ciò che abbiamo visto utilizzando la scansione fMRI e i modelli di diffusione. Oggi, abbiamo un altro metodo su cui parlare che cerca di affrontare la decodifica della scansione cerebrale utilizzando modelli di IA. È il momento di incontrare MindEye.

MindEye mira a decodificare gli input ambientali e gli stati cognitivi dall’attività cerebrale. Mappa l’attività della fMRI nello spazio di embedding dell’immagine CLIP pre-addestrata utilizzando una combinazione di MLP su larga scala, apprendimento contrastivo e modelli di diffusione. Il modello è composto da due pipeline: una pipeline ad alto livello (semantica) e una pipeline a basso livello (percettiva).

Nella pipeline ad alto livello, i voxel della fMRI vengono mappati nello spazio immagine CLIP, che è più semantico per natura. Poi si utilizza l’apprendimento contrastivo per addestrare il modello e introdurre la fMRI come modalità aggiuntiva nello spazio di embedding del modello CLIP pre-addestrato. Si utilizza una versione bidirezionale della data augmentation contrastiva mixup per migliorare le prestazioni del modello.

La pipeline a basso livello, d’altra parte, mappa i voxel della fMRI nello spazio di embedding del variational autoencoder (VAE) di Stable Diffusion. L’output di questa pipeline può essere utilizzato per ricostruire immagini sfocate che presentano metriche di immagine a basso livello all’avanguardia. Poiché l’output non è di alta qualità, il metodo img2img viene utilizzato alla fine per migliorare ulteriormente le ricostruzioni delle immagini preservando le metriche ad alto livello.

MindEye raggiunge risultati all’avanguardia sia nella ricostruzione che nelle attività di recupero delle immagini. Produce ricostruzioni di alta qualità che corrispondono alle caratteristiche a basso livello delle immagini originali e si comporta bene nelle metriche delle immagini a basso e alto livello. Gli embedding fMRI disgiunti ottenuti da MindEye mostrano anche un’eccellente performance nelle attività di recupero delle immagini e del cervello.