Ricercatori di UC Berkeley introducono Nerfstudio un framework Python per lo sviluppo di Neural Radiance Field (NeRF)
Ricercatori di UC Berkeley introducono Nerfstudio, un framework Python per lo sviluppo di Nerf.
Chi non è un fan di Iron Man? Sembra davvero figo quando lavora nel suo laboratorio. Tutti gli ologrammi e i nuovi gadget che usa lo rendono figo. È possibile creare una scena navigabile in 3D (come un ologramma) da una fotografia in 2D? I ricercatori dell’UC Berkeley ci sono riusciti utilizzando una tecnologia chiamata Neural Radiance Fields (NeRF). Altri ricercatori di Berkley hanno creato anche un framework di sviluppo per accelerare i progetti NeRF e renderli più accessibili.
A causa della vasta gamma di applicazioni nella visione artificiale, nella grafica e nella robotica, lo sviluppo di NeRF sta crescendo rapidamente. I ricercatori di Berkley propongono un framework modulare PyTorch che include componenti plug-and-play per implementare metodi basati su NeRF in vari progetti. Il loro design modulare supporta anche strumenti di visualizzazione in tempo reale e strumenti per l’esportazione in video, punti cloud e rappresentazioni mesh.
Lo sviluppo rapido di NeRF ha portato alla pubblicazione di molti articoli di ricerca, ma la tracciabilità del progresso è difficile a causa della mancanza di consolidamento del codice. Molti articoli implementano funzionalità nel proprio repository isolato, il che complica il processo di trasferimento di funzionalità e contributi di ricerca tra diverse implementazioni. Per risolvere questo problema, i ricercatori di Berkley presentano NeRFstudios come un’innovazione NeRF consolidata. Gli obiettivi principali di NeRFstudios sono consolidare varie tecniche NeRF in componenti modulari riutilizzabili e consentire la visualizzazione in tempo reale di scene NeRF con una ricca gamma di controlli. Ciò fornirà un flusso di lavoro facile da usare per creare NeRF da dati acquisiti dall’utente.
- Utilizzare l’IA per proteggersi dalla manipolazione delle immagini tramite l’IA
- Incontra Med-PaLM Multimodal (Med-PaLM M) un grande modello generativo multimodale che codifica e interpreta in modo flessibile i dati biomedici.
- Adozione aziendale dell’Intelligenza Artificiale Generativa
NeRFstudios consiste in un visualizzatore in tempo reale ospitato sul web per lavorare con qualsiasi modello durante l’addestramento o il testing. Ciò rende l’accesso senza richiedere una macchina GPU locale. Supporta anche diverse immagini scattate con diversi tipi di telecamera e applicazioni per dispositivi mobili come Polycam, Record3D e KIRI Engine.
L’interfaccia di visualizzazione in tempo reale di NeRFstudios è utile per l’analisi qualitativa di un modello. Ciò consentirà decisioni più informate durante lo sviluppo del metodo. Per le visualizzazioni lontane dalla traiettoria di cattura, rispetto a PSNR, NeRF fornisce una comprensione completa delle prestazioni. L’analisi qualitativa è importante perché consente allo sviluppatore di ottenere una comprensione più olistica delle prestazioni del modello.
Per un’immagine impostata, NeRFstudios ottimizza la scena 3D in base alla radianza, densità e altre quantità come semantica, normali, caratteristiche, ecc. Queste vengono inserite in un Data Manager seguito da un modello. Il data manager si occupa del parsing dei formati delle immagini tramite un DataParser e della generazione di raggi come RayBundles. Questi Ray Bundles vengono inseriti in un Modello che interrogherà i Campi e renderà le quantità.
Il futuro lavoro dei ricercatori include lo sviluppo di matrici di valutazione più appropriate e l’integrazione del framework con altre aree come la visione artificiale, la grafica computerizzata e l’apprendimento automatico. Lo sviluppo dei metodi basati su NeRF accelera gli avanzamenti nella comunità del rendering neurale.
