Ricercatori dell’Università di Vanderbilt e dell’Università della California, Davis introducono PRANC una struttura di apprendimento approfondito che è efficiente nella memoria sia durante le fasi di apprendimento che di ricostruzione.

I ricercatori dell'Università di Vanderbilt e dell'Università della California, Davis presentano PRANC una struttura di apprendimento profondo efficiente nella memorizzazione durante le fasi di apprendimento e ricostruzione.

Ricercatori dell’Università Vanderbilt e dell’Università della California, Davis, hanno introdotto PRANC, un framework che dimostra la riparametrizzazione di un modello profondo come combinazione lineare di modelli profondi inizializzati casualmente e congelati nello spazio dei pesi. Durante l’addestramento, vengono cercati minimi locali all’interno dello sottospazio generato da questi modelli di base, consentendo una significativa compressione del modello profondo. PRANC affronta sfide legate alla memorizzazione e alla comunicazione di modelli profondi, offrendo potenziali applicazioni nell’apprendimento multi-agente, nei sistemi continui, nei sistemi federati e nei dispositivi edge. PRANC consente un’infusione efficiente della memoria attraverso la generazione al volo dei pesi a livello di strato.

Lo studio discute lavori precedenti sulla compressione del modello e sull’apprendimento continuo utilizzando reti e sottoreti inizializzate casualmente. Vengono confrontati vari metodi di compressione, tra cui hashing, potatura e quantizzazione, evidenziandone i limiti. Il framework proposto da PRANC mira a una compressione estrema del modello, superando i metodi esistenti. PRANC viene confrontato con codec tradizionali e approcci basati sull’apprendimento nella compressione delle immagini, mostrando la sua efficacia. Le limitazioni includono le sfide nella riparametrizzazione di specifici parametri del modello e il costo computazionale dell’addestramento di modelli grandi.

La ricerca mette in discussione l’idea che l’aumento dell’accuratezza nei modelli profondi derivi esclusivamente dall’aumento della complessità o dei parametri. PRANC è un approccio innovativo che parametrizza un modello profondo come combinazione lineare di modelli casuali congelati, mirando a comprimere significativamente i modelli per una memorizzazione e una comunicazione efficienti. PRANC affronta sfide nell’apprendimento multi-agente, negli apprendisti continui, nei sistemi federati e nei dispositivi edge. Lo studio sottolinea la necessità di alti tassi di compressione e confronta PRANC con altri metodi di compressione. Le limitazioni includono le sfide nella riparametrizzazione di specifici parametri del modello e i costi computazionali per modelli grandi.

• Palo Alto Networks introduce la piattaforma Cortex XSIAM 2.0 con una struttura unica Bring-Your-Own-Machine-Learning (BYOML).
• Ingegneria rapida per problemi di ragionamento aritmetico
• Automazione del riconoscimento delle entità chimiche Creazione del tuo modello ChemNER

PRANC è un framework che parametrizza modelli profondi combinando modelli casuali inizializzati nello spazio dei pesi. Ottimizza i pesi per la risoluzione del compito, ottenendo una minimizzazione della perdita del compito all’interno dei modelli di base. Utilizzando un unico seme scalare per la generazione del modello e coefficienti appresi per la ricostruzione, si riducono i costi di comunicazione. L’ottimizzazione utilizza la retropropagazione standard, migliorando l’efficienza della memoria suddividendo i modelli di base e generando ciascun blocco con un generatore pseudocasuale basato su GPU. Viene esplorata l’applicazione di PRANC nella compressione delle immagini, confrontandone le prestazioni con altri metodi.

L’approccio valuta le prestazioni di classificazione e compressione delle immagini di PRANC, mostrando la sua superiorità in entrambi i compiti. PRANC raggiunge una compressione significativa, superando quasi 100 volte i modelli di base nella classificazione delle immagini, consentendo un’infusione efficiente della memoria. La compressione delle immagini supera le valutazioni PSNR e MS-SSIM di JPEG e dei metodi INR addestrati su diverse bitrate. Le visualizzazioni illustrano immagini ricostruite utilizzando diverse sottoinsiemi. I confronti con i metodi di potatura evidenziano l’accuratezza competitiva e l’efficienza dei parametri.

PRANC è un framework che comprime significativamente i modelli profondi riparametrizzandoli come combinazione lineare di modelli casuali inizializzati e congelati. PRANC supera i modelli di base nella classificazione delle immagini, ottenendo una compressione sostanziale. Consente un’infusione efficiente della memoria con la generazione al volo dei pesi a livello di strato. Nella compressione delle immagini, PRANC supera JPEG e i metodi INR addestrati in termini di valutazioni PSNR e MS-SSIM a diverse bitrate. Lo studio suggerisce l’applicabilità di PRANC nell’apprendimento continuo e in scenari distribuiti. Le limitazioni includono le sfide nella riparametrizzazione di determinati parametri del modello e le spese computazionali per modelli grandi.

Le future applicazioni e migliorie per PRANC suggeriscono di estenderlo ai modelli generativi compatti come GAN o modelli di diffusione per una memorizzazione e una comunicazione efficienti dei parametri. Le possibili direzioni includono l’apprendimento dei coefficienti della miscela lineare in ordine decrescente di importanza per migliorare la compattezza. Un altro percorso è ottimizzare l’ordine dei modelli di base per bilanciare l’accuratezza e la compattezza in base a vincoli di comunicazione o memorizzazione. Lo studio propone anche di esplorare PRANC in metodi di apprendimento semi-supervisionato basati su esempi, enfatizzando il suo ruolo nell’apprendimento della rappresentazione attraverso un’augmentazione aggressiva delle immagini.