I sistemi di visione artificiale possono dedurre l’attività muscolare dal video? Incontra Muscles in Action (MIA) un nuovo dataset per imparare a incorporare l’attività muscolare nelle rappresentazioni del movimento umano.

I sistemi di visione artificiale possono dedurre l'attività muscolare dal video? Incontra MIA, un nuovo dataset per incorporare l'attività muscolare nel movimento umano.

Negli ultimi tempi, il campo dell’Intelligenza Artificiale è stato oggetto di discussione. Sia il Large Language Model che imita l’umanità, come il GPT 3.5 basato sul Processamento del Linguaggio Naturale e la Comprensione del Linguaggio Naturale, sia il modello di testo-immagine chiamato DALL-E basato sulla visione artificiale, l’IA sta aprendosi la strada verso il successo. La visione artificiale, sotto-campo dell’IA, sta migliorando con ogni nuova applicazione. È diventata in grado di analizzare il movimento umano dai video e affrontare così varie attività come l’estimazione della postura, il riconoscimento delle azioni e il trasferimento del movimento.

Anche se la visione artificiale è avanzata nel determinare il movimento umano, non riguarda soltanto l’aspetto esteriore. Ogni azione è conseguenza del nostro cervello che trasmette impulsi elettrici ai nostri nervi, i quali a loro volta causano la contrazione dei nostri muscoli, risultando infine nel movimento delle articolazioni. I ricercatori hanno fatto molti sforzi nello sviluppare un approccio con l’aiuto del quale si possa simulare l’attività muscolare intrinseca che guida la mobilità umana. Per progredire in questa ricerca, due ricercatori dell’Università di Columbia hanno introdotto un nuovo e unico dataset chiamato “Muscles in Action” (MIA). Questo dataset include 12,5 ore di video sincronizzato e dati di elettromiografia di superficie (sEMG) e cattura dieci soggetti che eseguono vari esercizi.

I sensori di elettromiografia di superficie (sEMG), disponibili in versioni invasive e non invasive, sono gli strumenti tradizionali per determinare l’attività muscolare. I ricercatori hanno sviluppato una rappresentazione che può prevedere l’attivazione muscolare dal video e, viceversa, ricostruire il movimento umano dai dati di attivazione muscolare utilizzando il dataset MIA. L’obiettivo principale è comprendere la complessa connessione tra l’attività muscolare sottostante e le informazioni visive. Modellando congiuntamente entrambe le modalità, il modello è stato condizionato per generare un movimento coerente con l’attivazione muscolare.

• Ultima ricerca sull’IA dalla Cina presenta ‘OMMO’ un dataset e benchmark all’aperto multi-modale su larga scala per la sintesi di nuove visualizzazioni e la ricostruzione implicita della scena.
• API di moderazione ChatGPT Controllo di Input/Output
• Salesforce AI ha sviluppato un nuovo algoritmo di editing chiamato EDICT che esegue la generazione di diffusione testo-immagine con un processo invertibile dato qualsiasi modello di diffusione esistente.

La parte principale di questo progetto è la struttura per modellare il collegamento tra il movimento umano visibile nel video e l’attività muscolare interna riflessa dai segnali sEMG. L’articolo di ricerca condiviso dal team fornisce una breve panoramica del lavoro rilevante nell’analisi dell’attività umana, nella generazione condizionale del movimento, nell’apprendimento multimodale, nell’elettromiografia e nella generazione del movimento umano basata sulla fisica. Segue una descrizione e un’analisi approfondita del dataset multimodale.

Per la valutazione, i ricercatori hanno sperimentato sia partecipanti ed esercizi in distribuzione che soggetti ed allenamenti fuori distribuzione per determinare quanto bene funziona il loro modello. Hanno testato il modello su dati diversi dalla distribuzione di addestramento e su dati simili a quelli su cui è stato addestrato. Questa valutazione aiuta a validare la generalizzabilità della metodologia.

In conclusione, l’uso dei muscoli nei sistemi di visione artificiale offre numerose potenziali applicazioni. Comprendere e simulare l’azione muscolare interna può produrre modelli virtuali umani più ricchi. Questi modelli possono essere utilizzati in una varietà di contesti reali, inclusi quelli legati allo sport, al fitness e alla realtà aumentata e virtuale.