Sfruttare il potenziale della condensazione del dataset SRe^2L raggiunge un’accuratezza record su ImageNet-1K

Utilizing the potential of dataset condensation, SRe^2L achieves a record accuracy on ImageNet-1K.

Negli ultimi anni, l’attenzione si è concentrata su approcci di compressione e distillazione dei dati, rivoluzionando la ricerca sull’intelligenza artificiale. Questi metodi promettono di rappresentare efficientemente set di dati di grandi dimensioni, consentendo una formazione più rapida del modello, un archivio dei dati economico e la conservazione di informazioni vitali. Tuttavia, le soluzioni esistenti hanno faticato a comprimere set di dati ad alta risoluzione come ImageNet-1K a causa di potenti oneri computazionali.

Un team di ricerca dell’Università di AI Mohamed bin Zayed e dell’Università Carnegie Mellon ha presentato un innovativo framework di condensazione dei dati chiamato “Squeeze, Recover e Relabel” (SRe^2L). Il loro approccio rivoluzionario condensa set di dati ad alta risoluzione e raggiunge una notevole precisione mantenendo le informazioni essenziali.

La sfida principale nella distillazione dei dati consiste nel creare un algoritmo di generazione in grado di produrre campioni compressi in modo efficace e garantire che i campioni generati mantengano le informazioni principali del set di dati originale. Gli approcci esistenti hanno incontrato difficoltà nell’adattarsi a set di dati più grandi a causa di vincoli computazionali e di memoria, impedendo la conservazione delle informazioni necessarie.

• Ricercatori dell’Università Nazionale di Singapore propongono Mind-Video un nuovo strumento di intelligenza artificiale che utilizza i dati fMRI del cervello per ricreare immagini video.
• Ricercatori dell’UT Austin e dell’UC Berkeley introducono Ambient Diffusion un framework di intelligenza artificiale per addestrare/affinare modelli di diffusione dati solo con dati corrotti come input.
• Incontra QLORA un approccio di fine-tuning efficiente che riduce l’utilizzo della memoria abbastanza da permettere il fine-tuning di un modello a 65 miliardi di parametri su una singola GPU da 48 GB, preservando al contempo le prestazioni complete di fine-tuning a 16 bit.

Per affrontare queste sfide, il framework SRe^2L adotta un processo di apprendimento a tre fasi che coinvolge la compressione, il recupero e l’etichettatura. Inizialmente, i ricercatori addestrano un modello per catturare informazioni cruciali dal set di dati originale. Successivamente, eseguono un processo di recupero per sintetizzare dati di destinazione, quindi etichettano i dati sintetici assegnando loro le etichette corrette.

Una delle principali innovazioni di SRe^2L risiede nella separazione dell’ottimizzazione bilivello del modello e dei dati sintetici durante l’addestramento. Questo approccio unico garantisce che l’estrazione delle informazioni dai dati originali rimanga indipendente dal processo di generazione dei dati. Evitando la necessità di memoria aggiuntiva e impedendo che i dati originali influenzino i dati generati, SRe^2L supera significative limitazioni riscontrate dai metodi precedenti.

Per convalidare il loro approccio, il team di ricerca ha condotto estesi esperimenti di condensazione dei dati su due set di dati: Tiny-ImageNet e ImageNet-1K. I risultati sono stati impressionanti, con SRe^2L che ha raggiunto accurati eccezionali del 42,5% e del 60,8% su Tiny-ImageNet e ImageNet-1K completi, rispettivamente. Questi risultati hanno superato tutti gli approcci di stato dell’arte precedenti con margini significativi del 14,5% e del 32,9%, mantenendo nel contempo tempi di formazione ragionevoli e costi di memoria.

Un aspetto distintivo di questo lavoro è l’impegno dei ricercatori verso l’accessibilità. Sfruttando le ampiamente disponibili GPU NVIDIA, come la serie 3090, 4090 o A100, SRe^2L diventa accessibile a un pubblico più ampio di ricercatori e professionisti, favorendo la collaborazione e accelerando i progressi nel campo.

In un’era in cui la domanda di set di dati ad alta risoluzione su larga scala continua a crescere, il framework SRe^2L emerge come una soluzione trasformativa per le sfide della compressione e distillazione dei dati. La sua capacità di comprimere efficacemente ImageNet-1K preservando informazioni critiche apre nuove possibilità per la formazione rapida ed efficiente del modello in diverse applicazioni di intelligenza artificiale. Con il suo successo provato e l’implementazione accessibile, SRe^2L promette di ridefinire le frontiere della condensazione dei set di dati, aprendo nuove strade per la ricerca e lo sviluppo dell’intelligenza artificiale.