Come Possiamo Ottimizzare il Riconoscimento delle Azioni Video? Svelando il Potere dei Moduli di Attenzione Spaziale e Temporale nelle Approcci di Apprendimento Profondo

Il riconoscimento delle azioni è il processo di identificazione e classificazione automatica delle azioni umane o dei movimenti nei video. Ha applicazioni in vari settori, tra cui la sorveglianza, la robotica, l’analisi sportiva e altro ancora. L’obiettivo è consentire alle macchine di comprendere e interpretare le azioni umane per migliorare la presa di decisioni e l’automazione.

Il campo del riconoscimento delle azioni nei video ha visto significativi progressi con l’avvento dell’apprendimento profondo, in particolare delle reti neurali convoluzionali (CNN). Le CNN hanno dimostrato efficacia nell’estrazione di caratteristiche spaziotemporali direttamente dai fotogrammi dei video. Le prime approcci, come Improved Dense Trajectories (IDT), si concentravano su caratteristiche realizzate a mano, che erano computazionalmente costose e difficili da scalare. Con l’aumentare della diffusione dell’apprendimento profondo, sono stati introdotti metodi come i modelli a doppio flusso e le CNN 3D per utilizzare in modo efficace le informazioni spaziali e temporali dei video. Tuttavia, persistono sfide nell’estrazione efficiente delle informazioni video rilevanti, in particolare nella distinzione di fotogrammi e regioni spaziali discriminanti. Inoltre, per migliorare la scalabilità e l’applicabilità, è necessario affrontare le richieste computazionali e le risorse di memoria associate a determinati metodi, come il calcolo del flusso ottico.

Per affrontare le sfide sopra menzionate, un team di ricerca cinese ha proposto un nuovo approccio per il riconoscimento delle azioni, sfruttando le reti residuali migliorare e meccanismi di attenzione. Il metodo proposto, chiamato frame and spatial attention network (FSAN), si concentra sulla guida del modello per enfatizzare i fotogrammi importanti e le regioni spaziali all’interno dei dati video.

• I 12 principi fondamentali della governance dell’IA
• Google DeepMind rilascia Open X-Embodiment che include un dataset di robotica con 1M+ traiettorie e un modello di intelligenza artificiale generalista (𝗥𝗧-X) per aiutare ad avanzare nel modo in cui i robot possono imparare nuove abilità.
• Sbloccare la creatività con Advanced Transformers nella Generative AI

Il modello FSAN incorpora una rete convoluzionale spuria-3D e un modulo di attenzione a due livelli. Il modulo di attenzione a due livelli aiuta a sfruttare le caratteristiche informative nei canali, nel tempo e nello spazio, migliorando la comprensione delle caratteristiche spaziotemporali dei dati video. È stato introdotto anche un modulo di attenzione per i fotogrammi video al fine di ridurre gli effetti negativi delle somiglianze tra i diversi fotogrammi. Questo approccio basato sull’attenzione, che impiega moduli di attenzione a diversi livelli, aiuta a generare rappresentazioni più efficaci per il riconoscimento delle azioni.

Dal punto di vista degli autori, l’integrazione di connessioni residuali e meccanismi di attenzione all’interno di FSAN offre vantaggi distinti. Le connessioni residuali, specificamente attraverso l’architettura spuria-ResNet, migliorano il flusso del gradiente durante l’allenamento, contribuendo a catturare in modo efficiente caratteristiche spaziotemporali complesse. Allo stesso tempo, i meccanismi di attenzione, nelle dimensioni temporali e spaziali, consentono di concentrarsi su fotogrammi vitali e regioni spaziali importanti. Questa attenzione selettiva migliora la capacità discriminativa e riduce l’interferenza del rumore, ottimizzando l’estrazione delle informazioni. Inoltre, questo approccio garantisce adattabilità e scalabilità per la personalizzazione basata su set di dati e requisiti specifici. Nel complesso, questa integrazione migliora la robustezza e l’efficacia dei modelli di riconoscimento delle azioni, migliorando ulteriormente le prestazioni e l’accuratezza.

Per convalidare l’efficacia del loro proposto FSAN per il riconoscimento delle azioni, i ricercatori hanno condotto ampi esperimenti su due importanti set di dati di benchmark: UCF101 e HMDB51. Hanno implementato il modello su un sistema operativo Ubuntu 20.04 bionic, utilizzando una CPU Intel Xeon E5-2620v4 e una GPU GeForce RTX 2080 Ti per la potenza di calcolo. L’addestramento del modello ha coinvolto 100 epoche utilizzando la discesa del gradiente stocastico (SGD) e specifici parametri, condotti su un sistema dotato di 4 GPU GeForce RTX 2080 Ti. Hanno applicato tecniche intelligenti di elaborazione dei dati come decodifica video rapida, estrazione dei fotogrammi e metodi di aumento dei dati come ritaglio casuale e ribaltamento. Nella fase di valutazione, il modello FSAN è stato confrontato con metodi all’avanguardia su entrambi i set di dati, mostrando miglioramenti significativi nell’accuratezza del riconoscimento delle azioni. Attraverso gli studi di ablation, i ricercatori hanno sottolineato il ruolo cruciale dei moduli di attenzione, confermando l’efficacia di FSAN nel migliorare le prestazioni del riconoscimento delle azioni e nel discernere efficacemente caratteristiche spaziotemporali per un riconoscimento accurato delle azioni.

In sintesi, l’integrazione di reti residuali migliorate e meccanismi di attenzione nel modello FSAN offre una soluzione potente per il riconoscimento delle azioni nei video. Questo approccio migliora l’accuratezza e l’adattabilità affrontando efficacemente le sfide nell’estrazione delle caratteristiche, nell’identificazione dei fotogrammi discriminanti e nell’efficienza computazionale. Attraverso esperimenti completi su set di dati di benchmark, i ricercatori dimostrano le prestazioni superiori di FSAN, mostrando il suo potenziale per migliorare significativamente il riconoscimento delle azioni. Questo studio sottolinea l’importanza di sfruttare i meccanismi di attenzione e l’apprendimento profondo per una migliore comprensione delle azioni umane, offrendo promettenti applicazioni trasformative in vari settori.-