Incontra TEXTure un nuovo framework di Intelligenza Artificiale (AI) per la texturizzazione guidata dal testo di mesh 3D.

Incontra TEXTure, un nuovo framework AI per la texturizzazione guidata dal testo di mesh 3D.

La generazione di immagini da testo è un’area di ricerca innovativa e affascinante nel campo dell’intelligenza artificiale (AI), dove l’obiettivo è generare immagini realistiche basate su descrizioni testuali. La capacità di generare immagini dal testo ha una vasta gamma di applicazioni, dall’arte all’intrattenimento, dove può essere utilizzata per creare visualizzazioni per libri, film e videogiochi.

Una specifica applicazione della generazione di immagini da testo è la creazione di immagini di texture, che coinvolge la creazione di immagini che rappresentano diversi tipi di texture, come tessuti, superfici e materiali. Le immagini di texture sono fondamentali nelle applicazioni di grafica computerizzata, animazione e realtà virtuale, dove le texture realistiche possono migliorare l’esperienza immersiva dell’utente.

Un’altra area di interesse nella ricerca di intelligenza artificiale è il trasferimento di texture in 3D, che coinvolge il trasferimento delle informazioni sulla texture da un oggetto a un altro in un ambiente 3D. Questo processo crea modelli 3D veritieri mediante il trasferimento delle informazioni sulla texture da un oggetto sorgente a un oggetto destinazione. Questo approccio può essere utilizzato in campi come la visualizzazione di prodotti, dove i modelli 3D realistici sono essenziali.

• Questa ricerca sul cervello-AI ricrea immagini leggendo le onde cerebrali con diffusione stabile
• Rileva il linguaggio dannoso nelle conversazioni parlate con Amazon Transcribe Toxicity Detection
• GPU NVIDIA H100 ora disponibili su AWS Cloud

Le tecniche di apprendimento profondo hanno rivoluzionato il campo della generazione di immagini da testo, consentendo la creazione di immagini altamente realistiche e dettagliate. Utilizzando reti neurali profonde, i ricercatori sono in grado di addestrare modelli per generare immagini che corrispondono strettamente alle descrizioni testuali o per trasferire texture tra oggetti 3D.

Recenti lavori su modelli guidati dal linguaggio sfruttano indirettamente il noto modello generativo di diffusione stabile per la distillazione del punteggio. Questa tecnica consiste nella distillazione delle conoscenze da una rete grande a una più piccola, che viene addestrata per prevedere i punteggi assegnati alle immagini dalla prima rete.

Anche se rappresenta un miglioramento significativo rispetto alle tecniche precedentemente utilizzate, questi modelli sono ancora lontani in termini di qualità raggiunta per il processo di trasferimento di texture 3D rispetto ai loro omologhi 2D.

Per migliorare l’accuratezza del trasferimento di texture 3D, è stato proposto un nuovo framework di intelligenza artificiale denominato TEXTure.

Una panoramica del processo è rappresentata di seguito.

A differenza degli approcci sopra menzionati, TEXTure applica un processo completo di eliminazione del rumore sulle immagini renderizzate sfruttando un modello di diffusione condizionata dalla profondità.

Dato un mesh 3D da testurizzare, l’idea principale è renderizzarlo in modo iterativo da diverse prospettive, applicare uno schema di pittura basato sulla profondità e proiettarlo nuovamente su un atlante.

Tuttavia, il rischio di applicare questo processo in modo ingenuo è la generazione di testurizzazioni irrealistiche o inconsistenti a causa della natura stocastica del processo di generazione.

Per affrontare questo problema, la mesh 3D selezionata viene suddivisa in una trimap delle regioni “mantieni”, “raffina” e “genera”.

Le regioni “genera” sono parti dell’oggetto che devono essere dipinte da zero; “raffina” si riferisce a parti dell’oggetto che sono state testurizzate da una prospettiva diversa e ora devono essere adattate a una nuova prospettiva; “mantieni” descrive l’atto di preservare la texture dipinta.

Secondo gli autori, la combinazione di queste tre tecniche consente la generazione di risultati altamente realistici in pochi minuti.

I risultati presentati dagli autori sono riportati di seguito e confrontati con gli approcci di ultima generazione.

Questo è stato il riassunto di TEXTure, un nuovo framework di intelligenza artificiale per la texturizzazione guidata dal testo di mesh 3D.

Se sei interessato o desideri saperne di più su questo framework, puoi trovare un link al paper e alla pagina del progetto.

Controlla il paper, il codice e la pagina del progetto. Tutto il merito di questa ricerca va ai ricercatori di questo progetto. Inoltre, non dimenticare di unirti al nostro ML SubReddit con oltre 26k membri, al canale Discord e alla newsletter via email, dove condividiamo le ultime novità sulla ricerca di intelligenza artificiale, progetti interessanti e altro ancora.

Sfruttando TensorLeap per un’apprendimento di trasferimento efficace: superando le differenze di dominio

L’articolo Incontra TEXTure: un nuovo framework di intelligenza artificiale (AI) per la texturizzazione guidata dal testo di mesh 3D è apparso per primo su MarkTechPost.