Questa ricerca sull’intelligenza artificiale presenta due modelli di diffusione per la generazione di video ad alta qualità i modelli Text-to-Video (T2V) e Image-to-Video (I2V).

Impatto dell'intelligenza artificiale nella generazione di video ad alta qualità i modelli Text-to-Video (T2V) e Image-to-Video (I2V)

Un team di ricercatori di Hong Kong ha introdotto due modelli di diffusione open-source per la generazione di video di alta qualità. Il modello di testo-a-video (T2V) genera video di qualità cinematografica a partire dall’input di testo, superando altri modelli T2V open-source in termini di prestazioni. D’altra parte, il modello di immagine-a-video (I2V) converte un’immagine di riferimento in un video preservando contenuto, struttura e stile. Questi modelli si prevede che faranno progredire la tecnologia di generazione video nell’ambito accademico e industriale, fornendo risorse preziose per ricercatori e ingegneri.

I modelli di diffusione (DMs) hanno eccelso nella generazione di contenuti, inclusa la generazione di testo-immagine e video. I modelli di diffusione video (VDMs) come Make-A-Video, Imagen Video e altri hanno esteso il framework Stable Diffusion (SD) per assicurare la coerenza temporale nei modelli T2V open-source. Tuttavia, questi modelli presentano delle limitazioni in termini di risoluzione, qualità e composizione. Questi modelli superano i modelli T2V open-source esistenti, facendo progredire la tecnologia nella comunità.

I modelli generativi, in particolare i modelli di diffusione, hanno fatto progredire la generazione di immagini e video. Mentre esistono modelli open-source di testo-immagine (T2I), i modelli T2V sono limitati. I modelli T2V includono layer di attenzione temporale e addestramento congiunto per la coerenza, mentre i modelli I2V preservano il contenuto e la struttura delle immagini. Condividendo questi modelli, i ricercatori intendono rafforzare la comunità open-source e spingere avanti la tecnologia di generazione di video.

• Può questo modello cinese di IA superare ChatGPT e Claude2? Conosci il modello Baichuan2-192k presentato da questa startup cinese ‘Baichuan Intelligent’ con il modello di contesto più lungo
• Samsung presenta ‘Gauss’ un nuovo modello di intelligenza artificiale nel linguaggio per sfidare il dominio di ChatGPT.
• Questa ricerca di intelligenza artificiale introduce Atom una tecnica di quantizzazione a basso bit per un servizio efficiente e accurato di modelli di lingua (LLM) di grandi dimensioni.

Lo studio presenta due modelli di diffusione: T2V e I2V. Il modello T2V utilizza un’architettura 3D U-Net con blocchi spazio-temporali, layer convoluzionali, trasformatori spaziali e temporali e layer di attenzione reciproca per allineare l’embeddings di testo e immagine. Il modello I2V trasforma le immagini in clip video, preservando contenuto, struttura e stile. Entrambi i modelli utilizzano una rete di proiezione apprendibile per l’addestramento. La valutazione include metriche per la qualità video e l’allineamento tra testo e video.

I modelli proposti T2V e I2V eccellono in termini di qualità video e allineamento testo-video, superando altri modelli open-source. Il modello T2V utilizza un’architettura denoising 3D U-Net, offrendo un’elevata fedeltà visiva nei video generati. Il modello I2V trasforma efficacemente le immagini in clip video, preservando contenuto, struttura e stile. Un’analisi comparativa con modelli come Gen-2, Pika Labs e ModelScope evidenzia la loro superiorità in termini di qualità visiva, allineamento testo-video, coerenza temporale e qualità del movimento.

In conclusione, l’introduzione recente dei modelli T2V e I2V per la generazione di video ha mostrato un grande potenziale nel far progredire gli sviluppi tecnologici nella comunità. Nonostante questi modelli abbiano dimostrato prestazioni superiori in termini di qualità video e allineamento testo-video, è ancora necessario apportare miglioramenti futuri in settori come durata, risoluzione e qualità del movimento dei video generati. Tuttavia, con lo sviluppo di questi modelli open-source, i ricercatori credono che ulteriori miglioramenti in questo campo saranno possibili.

In futuro, si potrebbe considerare l’aggiunta di fotogrammi e la creazione di un modello di interpolazione dei fotogrammi per estendere la durata del modello oltre i 2 secondi. Per migliorare la risoluzione, potrebbe essere utile collaborare con ScaleCrafter o utilizzare l’upscaling spaziale. Potrebbe essere consigliabile lavorare con dati di qualità superiore per migliorare la qualità del movimento e visiva. Includere prompt di immagini e studiare rami condizionali per le immagini potrebbero essere anche aree potenziali da esplorare per creare contenuti dinamici con una maggiore fedeltà visiva utilizzando il modello di diffusione.