Questa ricerca sull’IA presenta PERF il Panoramic Neural Radiance Field che trasforma immagini singole in scene 3D esplorabili

La ricerca sull'IA rivela il Panoramic Neural Radiance Field, una rivoluzionaria tecnologia che trasforma le immagini singole in scene 3D esplorabili

NeRF sta per Neural Radiance Fields, una tecnica di deep learning per la ricostruzione di scene 3D e la sintesi di visualizzazioni da immagini 2D. Tipicamente richiede più immagini o visualizzazioni di una scena per costruire una rappresentazione 3D precisa. NeRF coinvolge un insieme di immagini di una scena catturate da punti di vista diversi. NeRF ha ispirato estensioni e miglioramenti, come NeRF-W, che mirano a renderlo più efficiente, preciso e applicabile a vari scenari, inclusi scene dinamiche e applicazioni in tempo reale. Le sue varianti hanno avuto un impatto significativo nei campi della visione artificiale, della grafica computerizzata e della ricostruzione di scene 3D.

Tuttavia, se si dispone di un’unica immagine e si desidera incorporare informazioni 3D, è necessario migliorare la qualità della ricostruzione 3D. Le tecniche attuali limitano il campo visivo, il che limita notevolmente la loro scalabilità per scenari panoramici a 360 gradi del mondo reale con dimensioni grandi. I ricercatori presentano una struttura di sintesi di visualizzazioni panoramiche a 360 gradi chiamata PERF. Stands for Panoramic Neural Radiance field. La loro struttura addestra un campo di radianza neurale panoramico da un’unica panoramica.

Un’immagine panoramica viene creata catturando più immagini, spesso in sequenza, e poi unendo insieme per formare una rappresentazione senza soluzione di continuità e grandangolare di un paesaggio, di una città o di qualsiasi altra scena. Il team propone un metodo di ritocco collaborativo RGBD per completare le immagini RGB e le mappe di profondità delle regioni visibili con una diffusione stabile addestrata per il ritocco RGB. Hanno anche addestrato un estimatore di profondità monoculare per il completamento della profondità per generare aspetti e forme 3D nuovi che sono invisibili dalla panoramica di input.

• È il momento di definire i livelli di autonomia per i lavoratori digitali e gli agenti di intelligenza artificiale simili ai veicoli a guida autonoma IDWA avvia il processo
• Nuovo lavoro di DeepMind svela i semi supremi dei comandi per i modelli di linguaggio
• L’inflazione dell’intelligenza artificiale più è sempre meglio?

Addestrare un campo di radianza neurale panoramico (NeRF) da un’unica panoramica è un problema difficile a causa della mancanza di informazioni 3D, occlusioni di oggetti di grandi dimensioni, problemi accoppiati di ricostruzione e generazione e conflitto di geometria tra regioni visibili e regioni invisibili durante il retocco. Per affrontare questi problemi, PERF consiste in un processo a tre fasi: 1) ottenere l’addestramento di NeRF a singola visualizzazione con supervisione di profondità; 2) collaborare al ritocco RGBD di ROI; e 3) utilizzare la generazione di ritocco e cancellazione progressiva.

Per ottimizzare la mappa di profondità prevista di ROI e renderla coerente con la scena panoramica globale, propongono un metodo di ritocco e cancellazione, che retocca le regioni invisibili da una visualizzazione casuale e cancella le regioni di geometria in conflitto osservate da altre visualizzazioni di riferimento, ottenendo una migliore completamento della scena 3D.

I ricercatori hanno sperimentato sui set di dati Replica e PERF-in-the-wild. Dimostrano che PERF raggiunge un nuovo campo di radianza neurale panoramico a singola visualizzazione di ultima generazione. Dicono che PERF può essere applicato a panorami-3D, testi-3D e compiti di stilizzazione della scena 3D per ottenere risultati sorprendenti con diverse applicazioni promettenti.

PERF migliora significativamente le prestazioni del NeRF a scatto singolo ma dipende fortemente dall’accuratezza dell’estimatore di profondità e della Diffusione Stabile. Pertanto, il team afferma che il lavoro futuro includerà migliorare l’accuratezza dell’estimatore di profondità e del modello di diffusione stabile.