Il cugino AI di Michelangelo Neuralangelo è un modello di intelligenza artificiale che può raggiungere la ricostruzione di superfici 3D ad alta fedeltà [Codice incluso]

Il cugino AI di Michelangelo, Neuralangelo, è un modello di intelligenza artificiale per la ricostruzione di superfici 3D ad alta fedeltà. [Codice incluso]

I had trouble accessing your link so I’m going to try to continue without it.

Le reti neurali hanno fatto progressi significativi negli ultimi anni e si sono trovate un caso d’uso in quasi tutte le applicazioni. Uno dei casi d’uso più interessanti è la modellazione 3D del mondo reale. Abbiamo visto i campi di radianza neurale (NeRF) che possono catturare con precisione la geometria 3D di una scena utilizzando normali telecamere quotidiane. Questi progressi hanno aperto una nuova pagina nella ricostruzione della superficie 3D.

Lo scopo della ricostruzione della superficie 3D è quello di recuperare strutture geometriche dettagliate di una scena analizzando più immagini catturate da punti di vista diversi. Queste superfici ricostruite contengono informazioni strutturali preziose che possono essere applicate a varie applicazioni, tra cui la generazione di risorse 3D per la realtà aumentata/virtuale/mista e la mappatura degli ambienti per la navigazione robotica autonoma. Un approccio particolarmente intrigante è la ricostruzione della superficie fotogrammetrica utilizzando una singola telecamera RGB, in quanto consente agli utenti di creare facilmente repliche digitali del mondo reale utilizzando dispositivi mobili comuni.

• Una modesta introduzione all’elaborazione analitica in streaming
• Gorilla – Migliorare la capacità dei grandi modelli di linguaggio nell’utilizzo delle chiamate API
• Lo Zero Redundancy Optimizer (ZeRO) Una breve introduzione con Python

La ricostruzione della superficie 3D svolge un ruolo cruciale nella generazione di strutture geometriche dense da più immagini, consentendo una vasta gamma di applicazioni come la realtà aumentata/virtuale/mista e la robotica. Mentre i metodi classici, come gli algoritmi stereo multi-vista, sono stati popolari per la ricostruzione 3D sparso, spesso faticano con osservazioni ambigue e producono risultati inaccurati o incompleti. I metodi di ricostruzione della superficie neurale sono emersi come una soluzione promettente sfruttando perceptron multi-strato (MLP) basati sulle coordinate per rappresentare le scene come funzioni implicite. Tuttavia, la fedeltà dei metodi attuali non scala bene con la capacità di MLP.

E se potessimo avere un metodo che risolvesse il problema della scalabilità? E se potessimo generare modelli di superficie 3D in modo accurato utilizzando solo input RGB? È ora di conoscere Neuralangelo.

Neuralangelo è un framework che combina la potenza di Instant NGP (Neural Graphics Primitives) e la rappresentazione SDF neurale per ottenere una ricostruzione di superficie ad alta fedeltà.

Neuralangelo adotta Instant NGP come funzione di distanza firmata (SDF) neurale della scena 3D sottostante. Instant NGP introduce una struttura di griglia 3D ibrida con una codifica hash a multi-risoluzione, insieme a un MLP leggero che migliora l’espressività mantenendo una memoria log-lineare. Questa rappresentazione ibrida migliora significativamente la potenza di rappresentazione dei campi neurali e si distingue per la cattura di dettagli fini.

Per migliorare ulteriormente la qualità della ricostruzione della superficie codificata con hash, Neuralangelo introduce due tecniche chiave. In primo luogo, vengono utilizzati gradienti numerici per calcolare derivate di ordine superiore, come le normali della superficie, che contribuiscono a stabilizzare il processo di ottimizzazione. In secondo luogo, viene implementato un programma di ottimizzazione progressiva per recuperare strutture a diversi livelli di dettaglio, consentendo un approccio di ricostruzione completo. Queste tecniche lavorano in sinergia, portando a miglioramenti sostanziali sia nella precisione della ricostruzione che nella qualità della sintesi delle visualizzazioni.

Neuralangelo incorpora naturalmente la potenza della codifica hash a multi-risoluzione nelle rappresentazioni SDF neurali, ottenendo capacità di ricostruzione migliorate. In secondo luogo, l’uso di gradienti numerici e la regolarizzazione eikonale contribuiscono a migliorare la qualità della ricostruzione della superficie codificata con hash stabilizzando il processo di ottimizzazione. Infine, ampi esperimenti su benchmark standard e scene del mondo reale dimostrano l’efficacia di Neuralangelo, mostrando miglioramenti significativi rispetto ai metodi di ricostruzione della superficie neurale basati sull’immagine precedente in termini di precisione della ricostruzione e qualità della sintesi delle visualizzazioni.