Ricercatori di Meta presentano VR-NeRF un avanzato sistema di IA end-to-end per la cattura e la resa ad alta fedeltà di spazi percorribili nella realtà virtuale

VR-NeRF Il sistema avanzato di IA end-to-end di Meta per la cattura ad alta fedeltà e la resa di ambienti realistici nella realtà virtuale

“`html

Con l’avvento della tecnologia di realtà virtuale (VR) accessibile, c’è stato un notevole sviluppo nei media visivi altamente immersivi come la fotografia e i video VR realistici. Gli approcci esistenti in genere rientrano nelle seguenti due categorie:

  • La sintesi della vista ad alta fedeltà con una piccola scatola cranica di diametro inferiore a 1 m limita il movimento dell’utente a una piccola area.
  • La sintesi della vista a scala di scena di qualità o framerate più basso, che consente agli utenti di muoversi liberamente, ma la qualità dell’immagine generata è inferiore.

Per affrontare le limitazioni dei metodi esistenti, gli autori di questo articolo hanno introdotto VR-NeRF, un sistema in grado di creare esperienze VR realistiche in cui gli utenti possono camminare ed esplorare spazi del mondo reale. Il dataset utilizzato dai ricercatori è composto da migliaia di immagini HDR da 50 megapixel, con diversi dataset che superano i 100 gigapixel, ciò consente al loro sistema di ottenere una sintesi della vista ad alta fedeltà.

Recentemente c’è stato un significativo aumento della popolarità dei campi neurali di radianza (NeRF) grazie alla loro capacità di generare sintesi di vista di nuova qualità. Tuttavia, i metodi NeRF esistenti non funzionano bene per scene ampie e complesse.

Il metodo proposto dai ricercatori, NeRF, è progettato appositamente per il dataset ad alta fedeltà che hanno creato, il quale consente la resa VR in tempo reale ad alta qualità. La configurazione a multi-camera utilizzata dai ricercatori è un dispositivo unico nel suo genere che cattura numerose foto HDR uniformemente distribuite di una scena.

VR-NeRF include anche un renderer GPU personalizzato che consente una resa ad alta fedeltà in VR. Inoltre, il renderer funziona a una frequenza di frame costante di 36 Hz, generando un’esperienza VR coinvolgente. I ricercatori hanno esteso i componenti grafici neurali istantanei (NGP) con alcune migliorie, ciò permette loro di produrre immagini con colori accurati e di renderizzare immagini a diversi livelli di dettaglio, ottimizzando il compromesso tra qualità e velocità.

I ricercatori hanno anche dimostrato la qualità dei risultati sui loro challenging dataset ad alta fedeltà e hanno confrontato il loro metodo e i dataset con baselines esistenti. Hanno dimostrato che il loro metodo è in grado di produrre renderings VR di alta qualità di spazi percorribili con un’ampia gamma dinamica.

In conclusione, VR-NeRF è un approccio olistico per catturare, ricostruire e renderizzare spazi percorribili ad alta fedeltà in VR. Il metodo è in grado di raggiungere una risoluzione, un framerate e una fedeltà visiva superiori che consentono un’esperienza VR completa. Il metodo proposto dai ricercatori ha il potenziale per affrontare le problematiche delle applicazioni VR già esistenti e permettere agli utenti di vivere anche scene ampie e complesse con maggior dettaglio.

“`