Devi aumentare quelle dimensioni DreamEditor è un modello di intelligenza artificiale che modifica scene 3D utilizzando prompt di testo.

Devi aumentare le dimensioni di DreamEditor, un modello di intelligenza artificiale che modifica scene 3D tramite prompt di testo.

Il dominio della visione computerizzata 3D è stato invaso da NeRF negli ultimi anni. Sono emersi come una tecnica rivoluzionaria e hanno permesso la ricostruzione e la sintesi di nuove viste di una scena. NeRF cattura e modella le informazioni sulla geometria e sull’aspetto sottostanti da una collezione di immagini multi-view.

Sfruttando le reti neurali, NeRF offre un approccio basato sui dati che supera i metodi tradizionali. Le reti neurali in NeRF imparano a rappresentare la complessa relazione tra geometria della scena, illuminazione e aspetto dipendente dalla vista, consentendo ricostruzioni di scena altamente dettagliate e realistiche. Il vantaggio chiave di NeRF risiede nella sua capacità di generare immagini fotorealistiche da qualsiasi punto di vista desiderato all’interno di una scena, anche in regioni che non sono state catturate dall’insieme originale di immagini.

Il successo di NeRF ha aperto nuove possibilità nella grafica computerizzata, nella realtà virtuale e nella realtà aumentata, consentendo la creazione di ambienti virtuali immersivi e interattivi che assomigliano da vicino a scene del mondo reale. Pertanto, c’è un interesse serio nel campo per far progredire ancora di più NeRF.

• Google AI ha reso open-source Flan-T5 un modello di linguaggio basato su Transformer che utilizza un approccio di testo a testo per compiti di NLP.
• NODO Alberi Neurali Orientati alla Tabella
• Possono i modelli di linguaggio piccoli offrire alte prestazioni? Scopri StableLM un modello di linguaggio open source che può generare testo e codice fornendo alte prestazioni con un adeguato addestramento.

Alcuni svantaggi di NeRF limitano la loro applicabilità in scenari reali. Ad esempio, modificare i campi neurali è una sfida significativa a causa dell’incodifica implicita delle informazioni sulla forma e sulla texture all’interno delle caratteristiche delle reti neurali ad alta dimensionalità. Mentre alcuni metodi hanno cercato di affrontare questo problema utilizzando tecniche di modifica esplorate, spesso richiedono un’ampia partecipazione dell’utente e faticano a ottenere risultati precisi e di alta qualità.

La capacità di modificare NeRF può aprire possibilità nelle applicazioni del mondo reale. Tuttavia, finora tutti i tentativi non sono stati abbastanza buoni per risolvere i problemi. Beh, abbiamo un nuovo giocatore nel gioco, e si chiama DreamEditor.

DreamEditor è un framework user-friendly che consente la modifica intuitiva e conveniente dei campi neurali utilizzando prompt di testo. Rappresentando la scena con un campo neurale basato su mesh e utilizzando un framework di modifica passo dopo passo, DreamEditor consente una vasta gamma di effetti di modifica, inclusa la ri-testurizzazione, la sostituzione degli oggetti e l’inserimento degli oggetti.

La rappresentazione a mesh facilita la modifica locale precisa convertendo le maschere di modifica bidimensionali in regioni di modifica tridimensionali mentre districano anche la geometria e la texture per evitare deformazioni eccessive. Il framework passo dopo passo combina modelli di diffusione pre-addestrati con campionamento di distillazione dei punteggi, consentendo una modifica efficiente e accurata basata su semplici prompt di testo.

DreamEditor segue tre fasi chiave per agevolare la modifica intuitiva e precisa della scena 3D guidata dal testo. Nella fase iniziale, il campo di radianza neurale originale viene trasformato in un campo neurale basato su mesh. Questa rappresentazione a mesh consente la modifica selettiva in base allo spazio. Dopo la conversione, utilizza un modello personalizzato Text-to-Image (T2I) che viene addestrato sulla scena specifica per catturare le relazioni semantiche tra le parole chiave nei prompt di testo e il contenuto visivo della scena. Infine, le modifiche modificate vengono applicate all’oggetto di destinazione all’interno del campo neurale utilizzando la modalità di diffusione T2I.

DreamEditor è in grado di modificare in modo accurato e progressivo la scena 3D mantenendo un alto livello di fedeltà e realismo. Questo approccio graduale, dalla rappresentazione basata sulla mesh alla localizzazione precisa e all’editing controllato attraverso modelli di diffusione, consente a DreamEditor di ottenere risultati di editing altamente realistici riducendo al minimo le modifiche non necessarie nelle regioni non pertinenti.