Meta AI introduce AnyMAL Il futuro dei modelli di linguaggio multimodali che collegano testo, immagini, video, audio e dati dei sensori di movimento.

Meta AI presenta AnyMAL il futuro dei modelli di linguaggio multimodali che integrano testo, immagini, video, audio e dati dai sensori di movimento.

Nell’intelligenza artificiale, una delle sfide fondamentali è stata abilitare le macchine a comprendere e generare il linguaggio umano in collaborazione con vari input sensoriali, come immagini, video, audio e segnali di movimento. Questo problema ha implicazioni significative per molteplici applicazioni, tra cui l’interazione uomo-computer, la generazione di contenuti e l’accessibilità. I modelli di linguaggio tradizionali spesso si concentrano esclusivamente su input e output basati su testo, limitando la loro capacità di comprendere e rispondere alle diverse modalità con cui gli esseri umani interagiscono con il mondo. Riconoscendo questa limitazione, un team di ricercatori ha affrontato direttamente questo problema, portando allo sviluppo di AnyMAL, un innovativo modello di linguaggio multimodale.

Attualmente, i metodi e gli strumenti attuali per la comprensione del linguaggio spesso devono adeguarsi quando si gestiscono modalità diverse. Tuttavia, il team di ricerca di AnyMAL ha ideato un approccio nuovo per affrontare questa sfida. Hanno sviluppato un Modello di Linguaggio Multimodale su larga scala (LLM) che integra in modo fluido vari input sensoriali. AnyMAL non è solo un modello di linguaggio; incarna il potenziale dell’IA di comprendere e generare il linguaggio in un contesto multimodale.

Immagina di interagire con un modello di intelligenza artificiale combinando segnali sensoriali dal mondo che ci circonda. AnyMAL rende tutto questo possibile consentendo query che presuppongono una comprensione condivisa del mondo attraverso le percezioni sensoriali, tra cui segnali visivi, uditivi e di movimento. A differenza dei modelli di linguaggio tradizionali che si basano solo sul testo, AnyMAL può elaborare e generare il linguaggio tenendo conto del ricco contesto fornito da varie modalità.

• Ricercatori al MIT e a Harvard svelano un rivoluzionario approccio computazionale basato sull’IA individuare in modo efficiente le migliori interventi genetici con meno esperimenti.
• Salesforce AI introduce GlueGen rivoluzionando i modelli di testo-immagine con miglioramenti efficienti dell’encoder e capacità multimodali.
• Ultimi progressi nel campo dell’IA multimodale (ChatGPT + DALLE 3) + (Google BARD + estensioni) e molti altri….

La metodologia dietro AnyMAL è altrettanto impressionante quanto le sue applicazioni potenziali. I ricercatori hanno utilizzato risorse open-source e soluzioni scalabili per addestrare questo modello di linguaggio multimodale. Una delle innovazioni chiave è il dataset di Taratura di Istruzioni Multimodali (MM-IT), una collezione meticolosamente curata di annotazioni per dati di istruzioni multimodali. Questo dataset ha svolto un ruolo cruciale nell’addestramento di AnyMAL, consentendogli di comprendere e rispondere a istruzioni che coinvolgono input sensoriali multipli.

Una delle caratteristiche eccezionali di AnyMAL è la sua capacità di gestire molteplici modalità in modo coerente e sincronizzato. Dimostra una notevole performance in varie attività, come dimostrato da un confronto con altri modelli di visione-linguaggio. In una serie di esempi, le capacità di AnyMAL si distinguono. AnyMAL presenta costantemente una forte comprensione visiva, una generazione di linguaggio e capacità di ragionamento secondarie, dai prompt di scrittura creativa alle istruzioni su come fare e dalle richieste di raccomandazioni alle domande e risposte.

Ad esempio, nell’esempio di scrittura creativa, AnyMAL risponde alla richiesta “Scrivi una barzelletta a riguardo” con una risposta divertente legata all’immagine di una marionetta rompinozze. Questo dimostra le sue capacità di riconoscimento visivo e la sua capacità di essere creativo e umoristico. In uno scenario di “come fare”, AnyMAL fornisce istruzioni chiare e concise su come riparare una gomma a terra, dimostrando la sua comprensione del contesto dell’immagine e la sua capacità di generare linguaggio pertinente.

In una query di raccomandazione riguardante l’abbinamento di vino con la bistecca, AnyMAL identifica in modo accurato il vino che si abbina meglio alla bistecca, basandosi sull’immagine di due bottiglie di vino. Ciò dimostra la sua capacità di fornire raccomandazioni pratiche basate su un contesto visivo.

Inoltre, in uno scenario di domande e risposte, AnyMAL identifica correttamente il fiume Arno in un’immagine di Firenze, Italia, e fornisce informazioni sulla sua lunghezza. Ciò mette in luce le sue forti capacità di riconoscimento degli oggetti e conoscenze factuali.

Osservazioni conclusive

In conclusione, AnyMAL rappresenta un significativo passo avanti nella comprensione multimodale del linguaggio. Affronta un problema fondamentale nell’ambito dell’IA, consentendo alle macchine di comprendere e generare linguaggio in congiunzione con diversi input sensoriali. La metodologia di AnyMAL, basata su un ampio dataset multimodale e su un addestramento su larga scala, produce risultati impressionanti in varie attività, dalla scrittura creativa alle raccomandazioni pratiche e al recupero di conoscenze factuali.

Tuttavia, come ogni tecnologia all’avanguardia, AnyMAL ha dei limiti. A volte fatica a dare la priorità al contesto visivo rispetto agli indizi basati sul testo e la quantità di dati immagine-testo abbinati limita la sua conoscenza. Tuttavia, il potenziale del modello di adattarsi a diverse modalità al di là delle quattro inizialmente considerate apre interessanti possibilità per la ricerca futura e le applicazioni nella comunicazione basata sull’IA.