Ricercatori presso l’NTU Singapore propongono PointHPS un framework di intelligenza artificiale per una precisa stima della postura umana e della forma da nuvole di punti 3D.

Researchers at NTU Singapore propose PointHPS, an AI framework for accurate estimation of human pose and shape from 3D point clouds.

Con diversi progressi nel campo dell’Intelligenza Artificiale, la stima della postura e della forma umana (HPS) è diventata un’area di ricerca sempre più importante negli ultimi anni. Con diverse applicazioni pratiche, tra cui la cattura del movimento, il virtual try-on e la realtà mista, il recupero dei corpi umani 3D è diventato una sfida significativa. Stimare le pose e come il corpo è disposto, insieme all’analisi delle forme e delle proprietà fisiche del corpo degli individui nello spazio 3D, è un passo in questo processo. Un esempio è l’utilizzo di modelli umani parametrici, come il modello SMPL, che rappresentano i corpi umani con caratteristiche di forma e posizione.

Prevedere questi modelli parametrici da foto 2D è diventato significativamente più facile negli ultimi anni. Tuttavia, in alcune circostanze, le immagini 2D presentano svantaggi, come l’ambiguità della profondità e problemi di privacy. Questa è la situazione in cui i dati dei punti cloud 3D sono utili. Stimare con precisione le pose e le forme umane dai punti cloud 3D è diventato possibile grazie all’avanzamento dei sensori di profondità e all’accessibilità di dataset su larga scala.

In una recente ricerca, un team di ricercatori ha introdotto un framework metodico chiamato PointHPS per la precisa HPS 3D dai punti cloud acquisiti in ambienti del mondo reale. PointHPS utilizza un design a cascata in cui le caratteristiche dei punti vengono rifinite ripetutamente ad ogni iterazione. Utilizza un processo di raffinamento iterativo in cui i dati del punto cloud di input vengono sottoposti a una serie di tecniche di campionamento e sovracampionamento in diverse fasi. Questi processi cercano di estrarre dai dati indizi locali e globali.

• Costruzione di una matrice di correlazione con i valori p in Python
• I ricercatori del laboratorio XLang NLP propongono Lemur i modelli di linguaggio aperti preaddestrati di ultima generazione che bilanciano le capacità di testo e codice.
• Abbracciare la diversità neuronale un salto nell’efficienza e nelle prestazioni dell’IA

Sono stati inclusi due moduli all’avanguardia in PointHPS per migliorare la procedura di estrazione delle caratteristiche. Il primo è Cross-stage Feature Fusion (CFF), che è un modulo che consente la propagazione delle caratteristiche multiscala, consentendo un efficiente trasferimento di informazioni tra le varie fasi della rete. Aiuta nella conservazione del contesto e nella cattura delle informazioni. Il secondo è IFE (Intermediate Feature Enhancement), che si concentra sulla raccolta delle caratteristiche in modo consapevole della struttura del corpo umano. Dopo ogni fase, la qualità delle caratteristiche viene aumentata, rendendole più adatte per una stima precisa della postura e della forma.

Il team ha effettuato test su due importanti benchmark per fornire una valutazione approfondita in diverse condizioni –

1. Dataset del mondo reale: Questo dataset contiene una varietà di partecipanti e azioni registrate in un ambiente di laboratorio utilizzando sensori commerciali reali. Rappresenta un ambiente più difficile e realistico.

1. Generazione del dataset: Questo dataset è stato creato meticulosamente tenendo conto di condizioni reali, come persone vestite in ambienti esterni trafficati. È stata fornita anche un controllo su una varietà di parametri ambientali.

Test approfonditi hanno rivelato che PointHPS supera le tecniche all’avanguardia in tutte le misure di valutazione con il suo approccio robusto all’estrazione e all’elaborazione delle caratteristiche dei punti. L’efficacia dell’architettura a cascata suggerita, che è migliorata dai moduli CFF e IFE, è ulteriormente supportata dalle indagini di ablazione. Il team intende rilasciare i loro modelli preaddestrati, il codice e i dati per l’uso in ulteriori ricerche HPS dai punti cloud. La ricerca futura in questo ambito dovrebbe essere resa più semplice, aumentando anche la capacità di stimare con precisione la posizione e la forma umana 3D dai dati del punto cloud del mondo reale.