Migliora le tue foto con l’AI dall’upscaling in HD ai filtri cartoon
Migliora le tue foto con l'AI upscaling in HD e filtri cartoon.
StyleGANEX spiegato
Originariamente pubblicato su louisbouchard.ai, leggilo 2 giorni prima sul mio blog!
Guarda il video:
Parliamo dei modelli di intelligenza artificiale che prendono il tuo volto e possono trasformarlo in un cartone animato divertente, modificare attributi facciali come cambiare il colore dei capelli o semplicemente migliorare la risoluzione dell’immagine rendendola più HD. Se hai seguito gli articoli sul blog, saprai che la maggior parte di queste applicazioni si basa su un singolo modello e le sue varie versioni chiamate StyleGAN, di cui ho parlato numerose volte. StyleGAN è un’architettura basata su GAN sviluppata da NVIDIA che può prendere un input e trasformarlo in un altro seguendo uno stile specifico su cui è stato addestrato. È anche open source, il che significa che chiunque può usarlo e svilupparlo, ed è per questo che tutti gli articoli di ricerca lo utilizzano.
Il problema con StyleGAN è che è limitato a volti ritagliati e allineati a una risoluzione fissata dell’immagine a partire dai dati su cui è stato addestrato. Ciò significa che per le immagini del mondo reale, è necessario utilizzare altri approcci per individuare il volto, ritagliarlo e ri-orientarlo, e deve anche avere la stessa risoluzione dell’immagine. Questo è un grosso problema poiché di solito si desidera avere immagini di alta qualità, ma addestrarle richiederebbe un tempo incredibilmente lungo.
Quindi, ciò che facciamo di solito è utilizzare l’architettura StyleGAN per effettuare il trasferimento dello stile della nostra immagine, e quindi utilizzare un’altra rete per aumentare la risoluzione dell’immagine a una risoluzione più alta. Sebbene questo approccio funzioni bene, non è certo ideale. Hai bisogno di due modelli invece di uno, aggiungendo più pregiudizi e potenziali errori, oltre alla necessità di addestrare entrambi e limitare le capacità di generalizzazione. Fortunatamente per noi, alcuni ricercatori straordinari stanno lavorando su questo problema dell’input limitato dell’immagine e hanno recentemente pubblicato un nuovo approccio all’ICCV 2023 chiamato StyleGANEX attraverso alcuni piccoli ma molto intelligenti cambiamenti. Inoltre, il codice, i modelli pre-addestrati e una demo online sono tutti disponibili per provarlo personalmente. Tutti i link sono nelle referenze qui sotto.
- Gautam Bakshi, Co-Fondatore e CEO di 15Rock – Serie di interviste
- Zero to Advanced Prompt Engineering with Langchain in Python’ Da zero a avanzato nell’ingegneria dei prompt con Langchain in Python.
- Incontra MovieChat un innovativo sistema di comprensione video che integra modelli fondamentali di video e grandi modelli linguistici.
