SALMONN, il primo modello di intelligenza artificiale che ascolta come gli esseri umani

SALMONN, il primo modello di intelligenza artificiale che ascolta come gli umani

Il percorso verso sensi simili a quelli umani continua

Le persone spesso sottovalutano l’importanza dell’udito per funzionare correttamente nel nostro mondo e, ancora più importante, come strumento essenziale per l’apprendimento.

Come ha detto una volta la famosa Helen Keller, “La cecità ci separa dalle cose, ma la sordità ci separa dalle persone” e non dimentichiamo che questa donna era sia cieca che sorda.

Quindi, è naturale considerare l’udito come un requisito indispensabile affinché l’IA diventi lo “essere” superiore tanto cercato che alcuni prevedono che diventerà.

Purtroppo, attualmente i sistemi di intelligenza artificiale sono carenti nell’udito.

Sì, la nuova versione di ChatGPT che sfrutta il modello Whisper di OpenAI comprende abbastanza bene il linguaggio parlato e altri modelli catturano molto efficientemente eventi audio.

Ma l’udito è molto più di questo. Richiede di combinare tutti i diversi segnali audio ricevuti e applicarli come contesto a ciò che sta succedendo intorno a noi.

Questa caratteristica ci rende umani, poiché comprendiamo il linguaggio parlato, codifichiamo rumori casuali e apprezziamo la musica, rendendo l'”udito generico” una delle ultime caratteristiche che l’IA non è ancora riuscita a replicare dagli esseri umani.

Ora, un nuovo modello creato dall’azienda dietro TikTok, ByteDance, sfida questa visione.

SALMONN è il primo sistema multimodale di IA audio-linguaggio per l'”udito generico”, un modello in grado di elaborare segnali audio casuali dei tre principali tipi di suono: il linguaggio parlato, gli eventi audio e la musica.

Inoltre, come vedremo a breve, presenta capacità veramente uniche, mai viste prima, come la narrazione audio o la ragionamento congiunto su audio e linguaggio.

E oggi, stiamo capendo come funziona.

Questo articolo è stato originariamente pubblicato giorni fa nella mia newsletter settimanale gratuita, TheTechOasis.

Se desideri essere aggiornato sul frenetico mondo dell’IA e allo stesso tempo sentirsi ispirato ad agire o, almeno, essere ben preparato per il futuro che ci attende, questo è per te.

🏝Iscriviti qui sotto🏝 per diventare un leader nell’IA tra i tuoi colleghi e ricevere contenuti non presenti su altre piattaforme, inclusa VoAGI: