AudioCraft Meta’s Generative AI per Audio e Musica

AudioCraft Meta's Generative AI per Audio e Musica' (English AudioCraft Meta's Generative AI for Audio and Music)

La società madre di Facebook, Meta, ha rilasciato un nuovo strumento di intelligenza artificiale generativa che crea suoni da prompt basati su testo. In un post, l’azienda inizia con un esperimento mentale. “Immagina un musicista professionista che può esplorare nuove composizioni senza dover suonare una singola nota su uno strumento.”

Queste sono parole piuttosto importanti che provengono dall’azienda, poiché affermano che il nuovo strumento di intelligenza artificiale consente la generazione di audio e musica di alta qualità e realistici da prompt di testo. Ciò che è ancora più interessante è che questo avviene in un momento di maggiore attenzione nei confronti dei contenuti di intelligenza artificiale generativa.

Secondo il post, AudioCraft, il nome del nuovo strumento di intelligenza artificiale, è composto da tre modelli. MusicGen, AudioGen e EnCodec. Il primo, MusicGen, è stato addestrato con la musica di Meta e con musica con licenza e può generare musica da prompt di testo.

• Nuova ricerca sull’IA della CMU propone un metodo di attacco semplice ed efficace che causa ai modelli di linguaggio allineati la generazione di comportamenti oggettivamente inappropriati
• Migliorare l’elaborazione intelligente dei documenti di AWS con l’IA generativa
• Piano di formazione per l’apprendimento automatico Raccomandazioni della comunità 2023

AudioGen, che è stato addestrato utilizzando effetti sonori pubblici, può generare audio anche da prompt di testo. Può creare suoni ambientali o altri effetti sonori come il latrato di un cane, il clacson dell’auto, i passi su un tipo specifico di pavimento e altro ancora.

Sembra che la differenza tra i due sia la creazione di musica e la concentrazione sugli effetti sonori nel secondo. Poi c’è Encodec. Questo modello può creare generazione di musica di alta qualità con meno artefatti secondo l’azienda.

Tutti e tre i modelli sono open source e l’azienda offre accesso a ricercatori e professionisti in modo che possano addestrare i loro modelli con i loro set di dati. I risultati potrebbero essere molto interessanti considerando che il mondo della musica e dei suoni generati dall’intelligenza artificiale è ancora agli inizi.

Al momento, i modelli non sono disponibili per chiunque scriva semplicemente un prompt e spera venga creato un suono piacevole. I modelli, secondo Meta, richiedono ancora più lavoro a causa della loro natura complessa. Ma il team promette che la famiglia di modelli AudioCraft è in grado di produrre audio di alta qualità.

L’azienda spera che la famiglia di modelli AudioCraft sia considerata nuovi strumenti per aiutare musicisti e sound designer a esplorare la propria arte. Questa speranza si estende anche a ispirare il loro lavoro. Se dimostrati di successo e popolari, questo dovrebbe essere il futuro che il DJ David Guetta ha intravisto quando ha menzionato l’intelligenza artificiale come parte critica del futuro della musica.