Incontra ImageReward un modello rivoluzionario di testo-immagine che colma il divario tra le capacità di generazione dell’IA e i valori umani.
Incontra ImageReward, un modello testo-immagine che unisce IA e valori umani.
Nell’apprendimento automatico, i modelli generativi che possono produrre immagini basate su input testuali hanno fatto progressi significativi negli ultimi anni, con varie approcci che mostrano risultati promettenti. Sebbene questi modelli abbiano attirato notevole attenzione e applicazioni potenziali, allinearli alle preferenze umane rimane una sfida primaria a causa delle differenze tra le distribuzioni di pre-addestramento e di input dell’utente, che comportano noti problemi con le immagini generate.
Diverse sfide sorgono durante la generazione di immagini da prompt testuali. Queste includono difficoltà nel allineare con precisione testo e immagini, rappresentare accuratamente il corpo umano, aderire alle preferenze estetiche umane e evitare potenziali tossicità e pregiudizi nel contenuto generato. Affrontare queste sfide richiede più di una semplice miglioria dell’architettura del modello e dei dati di pre-addestramento. Un approccio esplorato nell’elaborazione del linguaggio naturale è l’apprendimento per rinforzo a partire dal feedback umano, in cui viene creato un modello di ricompensa tramite confronti annotati da esperti per guidare il modello verso le preferenze e i valori umani. Tuttavia, questo processo di annotazione può richiedere tempo e sforzo.
Per affrontare queste sfide, un team di ricerca cinese ha presentato una nuova soluzione per generare immagini da prompt testuali. Introducono ImageReward, il primo modello di ricompensa umana di tipo testo-immagine ad uso generale, addestrato su 137.000 coppie di confronti esperti basati su prompt dell’utente del mondo reale e output del modello.
- Comprendere i grandi modelli di linguaggio La fisica di (Chat)GPT e BERT
- Aumentare l’affidabilità delle reti di sensori wireless tramite la taratura cieca
- Esecuzione di Llama 2 su CPU Inference localmente per Document Q&A
Per costruire ImageReward, gli autori hanno utilizzato un algoritmo basato su grafi per selezionare vari prompt e hanno fornito agli annotatori un sistema composto da annotazione del prompt, valutazione del testo-immagine e classificazione delle immagini. Hanno anche reclutato annotatori con almeno un’istruzione di livello universitario per garantire un consenso nelle valutazioni e classificazioni delle immagini generate. Gli autori hanno analizzato le prestazioni di un modello testo-immagine su diversi tipi di prompt. Hanno raccolto un dataset di 8.878 prompt utili e valutato le immagini generate in base a tre dimensioni. Hanno inoltre identificato problemi comuni nelle immagini generate e hanno scoperto che i problemi del corpo e la generazione ripetuta erano i più gravi. Hanno studiato l’influenza delle “parole funzione” nei prompt sulle prestazioni del modello e hanno scoperto che le frasi di funzioni adeguate migliorano l’allineamento testo-immagine.
La fase sperimentale ha coinvolto l’addestramento di ImageReward, un modello di preferenza per le immagini generate, utilizzando annotazioni per modellare le preferenze umane. BLIP è stato utilizzato come base, e alcuni livelli di trasformazione sono stati congelati per evitare l’overfitting. Gli iperparametri ottimali sono stati determinati attraverso una ricerca in griglia utilizzando un set di convalida. La funzione di perdita è stata formulata sulla base delle immagini classificate per ogni prompt, e l’obiettivo era selezionare automaticamente le immagini preferite dagli umani.
Nella fase sperimentale, il modello è stato addestrato su un dataset di oltre 136.000 coppie di confronti tra immagini e confrontato con altri modelli utilizzando accuratezza di preferenza, recall e punteggi di filtro. ImageReward supera gli altri modelli, con un’accuratezza di preferenza del 65,14%. L’articolo include anche un’analisi dell’accordo tra annotatori, ricercatori, insieme di annotatori e modelli. Il modello si dimostra migliore degli altri modelli in termini di fedeltà dell’immagine, che è più complessa dell’estetica, e massimizza la differenza tra immagini superiori e inferiori. Inoltre, è stata condotta uno studio di ablazione per analizzare l’impatto della rimozione di componenti o caratteristiche specifiche dal modello ImageReward proposto. Il risultato principale dello studio di ablazione è che la rimozione di una qualsiasi delle tre branche, inclusa la base di trasformazione, l’encoder dell’immagine e l’encoder del testo, comporterebbe una significativa diminuzione dell’accuratezza di preferenza del modello. In particolare, la rimozione della base di trasformazione causerebbe la diminuzione delle prestazioni più significativa, indicando il ruolo critico del trasformatore nel modello.
In questo articolo, abbiamo presentato una nuova indagine condotta da un team cinese che ha introdotto ImageReward. Questo modello di ricompensa umana di tipo testo-immagine ad uso generale affronta i problemi nei modelli generativi allineandosi ai valori umani. Hanno creato un flusso di lavoro per l’annotazione e un dataset di 137.000 confronti e 8.878 prompt. Gli esperimenti hanno mostrato che ImageReward ha prestazioni superiori rispetto ai metodi esistenti e potrebbe essere una metrica di valutazione ideale. Il team ha analizzato le valutazioni umane e ha pianificato di perfezionare il processo di annotazione, estendere il modello per coprire più categorie ed esplorare l’apprendimento per rinforzo per spingere i limiti della sintesi testo-immagine.
