Incontra POCO un nuovo framework di intelligenza artificiale per la stima della posa umana tridimensionale e della forma

Scopri POCO, il rivoluzionario framework di intelligenza artificiale per la misurazione tridimensionale della postura umana e della forma

Stimare la posa tridimensionale e la forma umana (HPS) dalle foto e dai filmati è necessario per ricostruire le azioni umane in ambienti reali. Tuttavia, l’inferenza 3D da immagini 2D presenta notevoli sfide a causa di fattori come l’ambiguità della profondità, l’occlusione, i vestiti insoliti e la sfocatura del movimento. Anche i metodi HPS più avanzati commettono errori e spesso non sono consapevoli di questi errori. L’HPS è un compito intermedio che fornisce il risultato utilizzato da compiti successivi come la comprensione del comportamento umano o le applicazioni grafiche 3D. Questi compiti successivi richiedono un meccanismo per valutare l’accuratezza dei risultati HPS e, di conseguenza, questi metodi devono produrre un valore di incertezza (o fiducia) che correla con la qualità dell’HPS.

Un approccio per affrontare questa incertezza è quello di produrre più corpi, ma manca ancora una misura esplicita di incertezza. Esistono alcune eccezioni, che stimano una distribuzione dei parametri corporei. Un approccio consiste nel calcolare l’incertezza estrarre campioni da una distribuzione dei corpi e calcolare la deviazione standard di questi campioni. Questo metodo è valido, ma soffre di due limitazioni: è lento in quanto richiede passaggi di rete multipli per generare campioni e scambia l’accuratezza per la velocità. Più campioni migliorano l’accuratezza, ma aumentano le esigenze computazionali.

Recentemente, è stato sviluppato un approccio per evitare la supervisione esplicita addestrando una rete a produrre contemporaneamente sia i parametri corporei che l’incertezza. Ispirato al lavoro sulla segmentazione semantica, utilizza una funzione di densità base basata sulla distribuzione gaussiana ma riconosce la necessità di distribuzioni più complesse per modellare le pose umane. I metodi che stimano direttamente l’incertezza includono tipicamente una funzione di densità di base e una rete di scala. I metodi esistenti utilizzano una funzione di densità di base non condizionata e si basano esclusivamente su caratteristiche dell’immagine per la rete di scala. Questo approccio funziona bene quando i campioni condividono una distribuzione simile ma fallisce nel gestire set di dati diversi richiesti per modelli HPS 3D robusti.

• Può l’IA trasformarsi in un Terminator nella vita reale?
• Il momento del ‘ChatGPT’ per la robotica è più vicino che mai grazie a Google
• Suggerimenti e trucchi per utilizzare prompt Engineering per un compito di classificazione del testo.

Gli autori presentano POCO (“POse and shape estimation with COnfidence”), un nuovo framework applicabile ai metodi HPS standard per affrontare queste sfide. POCO estende questi metodi per stimare l’incertezza. In un solo passaggio feed-forward, POCO deduce direttamente sia i parametri corporei del modello lineare multi-persona skinned (SMPL) che la sua incertezza di regressione, che è altamente correlata con la qualità della ricostruzione. L’innovazione chiave in questo framework è la Dual Conditioning Strategy (DCS), che migliora la funzione di densità di base e la rete di scala. Una panoramica del framework è presentata nella figura seguente.

A differenza dei metodi precedenti, POCO introduce un vettore condizionale (Cond-bDF) per modellare la funzione di densità di base dell’errore di posa inferita. Invece di utilizzare una codifica dati one-hot semplicistica, POCO utilizza le caratteristiche dell’immagine per la condizione, consentendo una formazione più scalabile su dataset di immagini diversi e complessi. Inoltre, gli autori di POCO introducono un approccio migliorato per la stima dell’incertezza nei modelli HPS. Utilizzano le caratteristiche dell’immagine e condizionano la rete sulla posa SMPL, con il risultato di una miglior ricostruzione della posa e una migliore stima dell’incertezza. Il loro metodo può essere integrato in modo trasparente nei modelli HPS esistenti, migliorando l’accuratezza senza svantaggi. Lo studio afferma che questo approccio supera i metodi all’avanguardia nella correlazione tra incertezza e errori di posa. I risultati visualizzati nel loro lavoro sono riportati di seguito.

Questo è stato il riassunto di POCO, un nuovo framework di intelligenza artificiale per la stima della posa e della forma umana in 3D. Se sei interessato e vuoi saperne di più, sentiti libero di consultare i link citati di seguito.