Ricercatori Samsung AI introducono Neural Haircut un nuovo metodo di intelligenza artificiale per ricostruire la geometria basata su ciocche dei capelli umani da video o immagini.

Samsung AI researchers introduce Neural Haircut, a new AI method to reconstruct hair geometry from video or images based on strands.

Ricercatori del Samsung AI Center, Rockstar Games, FAU Erlangen-Nurnberg e Cinemersive Labs propongono una nuova tecnica per la modellazione basata su immagini che può estrarre i capelli umani da diverse viste di foto o frame video. A causa della sua geometria, fisica e riflessione molto complessa, la ricostruzione dei capelli è una delle attività più difficili nella modellazione 3D umana. Tuttavia, è essenziale per molte applicazioni, tra cui giochi, telepresenza ed effetti speciali. Le linee poligonali 3D, o ciocche, sono il modo più popolare per rappresentare i capelli nei grafici computerizzati, poiché possono essere utilizzate per la modellazione fisica e il rendering realistico. I moderni sistemi basati su immagini e video per la ricostruzione degli esseri umani spesso simulano acconciature utilizzando strutture dati con meno gradi di libertà più facili da stimare, tra cui rappresentazioni volumetriche o mesh con topologie fisse.

Come risultato, queste tecniche producono spesso geometrie dei capelli eccessivamente lisce e possono rappresentare accuratamente solo il “guscio esterno” di un’acconciatura senza catturarne la struttura centrale. Utilizzando stadi di luce, attrezzature di illuminazione controllata e un sistema di acquisizione denso con telecamere sincronizzate, è possibile effettuare una ricostruzione accurata dei capelli basata su ciocche. Di recente, a seconda dell’illuminazione organizzata o coerente e della calibrazione della telecamera per velocizzare il processo di ricostruzione, sono stati ottenuti risultati sorprendenti. Lo sforzo più recente ha anche utilizzato l’annotazione manuale dei frame per indicare le direzioni di crescita dei capelli al fine di produrre ricostruzioni fisicamente credibili. La complessa configurazione di acquisizione e i requisiti di pre-elaborazione laboriosa rendono tali tecnologie impraticabili per molte applicazioni pratiche nonostante l’eccellente qualità dei risultati.

Svariati algoritmi di modellazione basati su apprendimento utilizzano priorità dei capelli scoperte dai dati sintetici basati su ciocche per velocizzare il processo di acquisizione. Tuttavia, la quantità del set di dati di addestramento è un determinante naturale dell’accuratezza di questi approcci. Poiché la maggior parte dei set di dati esistenti contiene solo alcune centinaia di esempi, è necessario che siano più ampi per gestire in modo appropriato la varietà di acconciature umane, il che comporta una bassa qualità di ricostruzione. Questo studio fornisce una tecnica di modellazione dei capelli che funziona in ambienti di illuminazione non controllati e richiede dati basati su immagini o video senza ulteriori annotazioni dell’utente. Hanno creato un processo di ricostruzione in due fasi per farlo. La ricostruzione volumetrica grossolana nella prima fase è completamente basata sui dati e utilizza rappresentazioni volumetriche implicite. La seconda fase, nota come ricostruzione fine basata su ciocche, lavora a livello di singole ciocche di capelli e dipende principalmente da priorità scoperte da un piccolo set di dati sintetici. Per le aree dei capelli e del busto (testa e spalle), ricreano rappresentazioni implicite della superficie durante la prima fase.

• Un nuovo software sviluppato dai ricercatori dell’Università di Surrey può verificare quanto effettivamente sa l’Intelligenza Artificiale.
• Top 5 librerie Python per estrarre testo dalle immagini
• Dati Rustici Visualizzazione dei dati con Plotters – Parte 1

Inoltre, confrontandole con le direzioni dei capelli mostrate nelle immagini di addestramento o nelle mappe di orientamento 2D utilizzando una proiezione differenziabile, possono apprendere un campo di direzioni di crescita dei capelli che chiamano orientamenti 3D. Sebbene questo campo possa aiutare a una misurazione più precisa della forma dei capelli, la sua principale applicazione è limitare l’ottimizzazione della seconda fase delle ciocche di capelli. Utilizzano un metodo tradizionale basato sui gradienti delle immagini per generare le mappe di orientamento dei capelli dai frame di input.

Per produrre ricostruzioni basate su ciocche, la seconda fase utilizza priorità preaddestrate. Utilizzano un modello parametrico migliorato addestrato sui dati sintetici utilizzando un auto-encoder per rappresentare singole ciocche di capelli e la loro distribuzione congiunta o l’acconciatura completa. Pertanto, attraverso una procedura di ottimizzazione, questa fase concilia la ricostruzione grossolana dei capelli ottenuta nella fase precedente con le priorità basate sull’apprendimento. Infine, utilizzano un nuovo renderizzatore di capelli basato su rasterizzazione morbida per aumentare il realismo delle acconciature ricostruite utilizzando un rendering differenziabile.

In sintesi, i loro contributi includono:

• Un approccio di addestramento migliorato per la priorità delle ciocche

• Un metodo di ricostruzione 3D della testa umana per le regioni del seno e dei capelli che include orientamenti dei capelli

• Modellazione globale dell’acconciatura utilizzando una priorità basata sulla diffusione latente che “interagisce” con una priorità parametrica delle ciocche

• Metodologia di rasterizzazione dei capelli soft differenziabile che produce ricostruzioni più precise rispetto alle tecniche di rendering precedenti.

• Il metodo di adattamento dei capelli combina tutti gli elementi sopra menzionati per realizzare ottime ricostruzioni dei capelli umani a livello di ciocca.

Utilizzano film monoculare da uno smartphone e foto multi-view da uno scanner 3D che opera in ambienti di illuminazione non limitati per testare l’efficacia della loro tecnica su dati artificiali e del mondo reale.