Industria del Gaming attenzione! Non ci sono più strani specchi con Mirror-NeRF

Attention Gaming Industry! No more strange mirrors with Mirror-NeRF.

NeRF o Neural Radiance Fields utilizzano una combinazione di RNN e CNN per catturare le caratteristiche fisiche di un oggetto, come la forma, il materiale e la texture. Possono generare immagini realistiche di oggetti in diverse condizioni di illuminazione. Si sono dimostrati particolarmente utili in medicina, robotica e intrattenimento grazie alla loro capacità di creare immagini ad alta risoluzione.

La ricostruzione e il rendering 3D di scene con specchi, che esistono ubiquamente nel mondo reale, sono una sfida da lungo tempo nella visione artificiale. Affrontando le incongruenze nella ricostruzione con gli specchi con NeRF, i ricercatori dell’Università di Zhejiang stanno introducendo Mirror-NeRF che rende correttamente il riflesso nello specchio in un campo di radianza unificato, inviando la probabilità di riflesso e tracciando i raggi seguendo il modello di trasporto della luce di Whitted Ray Tracing.

NeRF, RefNeRF e NeRFReN, tutti e tre i metodi generano il riflesso dello specchio da nuovi punti di vista interpolando i riflessi precedentemente appresi. Tuttavia, hanno limitazioni per quanto riguarda l’inferring affidabile dei riflessi non visti durante l’addestramento e la sintesi dei riflessi per gli oggetti o gli specchi appena introdotti nella scena. La tecnica appena introdotta di Mirror-NeRF può disegnare accuratamente il riflesso nello specchio e servire a varie applicazioni di modifica della scena integrando il ray tracing fisico nel processo di rendering neurale.

Sono stati creati cinque set di dati sintetici e quattro reali e sono state effettuate comparazioni quantitative della sintesi di nuove visualizzazioni sulle metriche Peak signal-to-noise ratio (PSNR), structural similarity index measure (SSIM) e Learned Perceptual Image Patch Similarity (LPIPS). A causa della superficie irregolare dello specchio che influisce notevolmente sulla qualità del riflesso, sono state introdotte anche diverse termini di regolarizzazione nel processo di ottimizzazione. Quando tutti i termini di regolarizzazione sono stati abilitati, abbiamo ottenuto con successo il riflesso preciso nello specchio con la massima qualità dell’immagine.

I risultati hanno mostrato che NeRF, Ref-NeRF e NeRFReN hanno faticato a produrre il riflesso degli oggetti il cui riflesso ha variazioni ad alta frequenza nel colore, come l’immagine sospesa distorta nello specchio della sala riunioni, una tenda sfocata nello specchio dell’ufficio e della sala d’attesa e abiti “appannati” nello specchio del negozio di abbigliamento. D’altra parte, il nuovo metodo ha reso riflessi dettagliati degli oggetti tracciando i raggi riflessi. Nonostante ci sia un enorme progresso nel lavoro con gli specchi, i ricercatori devono ancora incorporare la rifrazione nel framework.

In conclusione, questa scoperta promette nuove opportunità nell’industria dei videogiochi e del cinema. Gli artisti potrebbero desiderare di creare effetti visivi complessi e utilizzare la manipolazione degli specchi, ad esempio sostituendo i riflessi nello specchio con una scena diversa. Possiamo sintetizzare la vista fotorealistica della nuova scena nello specchio con coerenza multi-vista.