Riduzione dell’impronta di carbonio nella formazione dell’IA tramite ottimizzazione

Riduzione impronta carbonio nella formazione IA tramite ottimizzazione

Ricercatori dell’Università del Michigan hanno creato un framework di ottimizzazione open-source chiamato Zeus che affronta il problema del consumo energetico nei modelli di deep learning. Con il crescente utilizzo di modelli sempre più grandi con un maggior numero di parametri, la richiesta di energia per addestrare questi modelli sta aumentando. Zeus cerca di risolvere questo problema identificando l’equilibrio ottimale tra consumo di energia e velocità di addestramento durante il processo di addestramento senza richiedere alcuna modifica hardware o nuova infrastruttura.

Zeus raggiunge questo obiettivo utilizzando due controlli software: il limite di potenza della GPU e il parametro della dimensione del batch del modello di deep learning. Il limite di potenza della GPU controlla la quantità di potenza consumata dalla GPU, mentre il parametro della dimensione del batch controlla quanti campioni vengono elaborati prima di aggiornare la rappresentazione del modello delle relazioni dei dati. Regolando questi parametri in tempo reale, Zeus cerca di ridurre al minimo l’uso di energia avendo il minor impatto possibile sul tempo di addestramento.

Zeus è progettato per funzionare con una varietà di compiti di apprendimento automatico e GPU e può essere utilizzato senza modifiche all’hardware o all’infrastruttura. Inoltre, il team di ricerca ha sviluppato anche un software complementare chiamato Chase, che può ridurre l’impronta di carbonio dell’addestramento di DNN privilegiando la velocità quando è disponibile energia a basso contenuto di carbonio ed efficienza durante i periodi di punta.

• I ricercatori di Google AI presentano Pic2Word un nuovo approccio al recupero di immagini composte senza etichetta (ZS-CIR)
• Incontra PoisonGPT un metodo di intelligenza artificiale per introdurre un modello maligno nella catena di approvvigionamento LLM altrimenti fidata.
• Rapporto dell’OCSE il 27% dei posti di lavoro a rischio a causa dell’IA

Il team di ricerca mira a sviluppare soluzioni realistiche che riducano l’impronta di carbonio dell’addestramento di DNN senza entrare in conflitto con vincoli come le grandi dimensioni dei dataset o le normative sui dati. Sebbene non sia sempre possibile rinviare i lavori di addestramento ai periodi con minor impatto ambientale a causa della necessità di utilizzare dati sempre aggiornati, Zeus e Chase possono comunque fornire significativi risparmi energetici senza sacrificare l’accuratezza.

Lo sviluppo di Zeus e di software complementari come Chase è un passo cruciale per affrontare il problema del consumo energetico dei modelli di deep learning. Riducendo la richiesta di energia dei modelli di deep learning, i ricercatori possono contribuire a mitigare l’impatto dell’intelligenza artificiale sull’ambiente e promuovere pratiche sostenibili nel campo. L’ottimizzazione dei modelli di deep learning attraverso Zeus non comporta la perdita di accuratezza, come dimostrano i significativi risparmi energetici ottenuti dal team di ricerca senza influire sul tempo di addestramento.

In sintesi, Zeus è un framework di ottimizzazione open-source che mira a ridurre il consumo energetico dei modelli di deep learning identificando l’equilibrio ottimale tra consumo energetico e velocità di addestramento. Regolando il limite di potenza della GPU e il parametro della dimensione del batch, Zeus riduce l’uso di energia senza influire sull’accuratezza. Zeus può essere utilizzato con una varietà di compiti di apprendimento automatico e GPU, e il software complementare Chase può ridurre l’impronta di carbonio dell’addestramento di DNN. Lo sviluppo di Zeus e Chase promuove pratiche sostenibili nel campo dell’intelligenza artificiale e mitiga il suo impatto sull’ambiente.