Questo articolo sull’IA introduce Perseus un framework innovativo per ridurre fino al 30% l’eccesso di energia nel training dei modelli di Machine Learning e Intelligenza Artificiale su larga scala.

Un nuovo approccio per ridurre l'eccesso di energia nel training dei modelli di Machine Learning e Intelligenza Artificiale su larga scala l'introduzione di Perseus

I modelli di linguaggio di grandi dimensioni come GPT-3 richiedono una quantità considerevole di energia a causa delle loro esigenze computazionali durante l’allenamento e l’inferenza. L’utilizzo energetico varia significativamente in base a fattori come le dimensioni del modello, la complessità del compito, le specifiche hardware e la durata operativa.

L’allenamento di questi modelli richiede risorse computazionali estese, spesso coinvolgendo GPU o TPU ad alte prestazioni, il che comporta un consumo energetico considerevole nel corso di periodi prolungati. Stime indicano che l’allenamento di un grande modello di linguaggio come GPT-3 può utilizzare elettricità equivalente a quella consumata da più famiglie nel corso di diversi giorni o settimane.

L’ottimizzazione del consumo energetico è cruciale e deve essere effettuata senza rallentare l’efficienza del modello. I ricercatori mirano a ridurre il consumo energetico che può essere eliminato senza perdere la velocità nell’allenamento di modelli di linguaggio di grandi dimensioni. La quantità di calcolo in ogni stadio del processo è un problema importante per la pianificazione dell’esecuzione distribuita. Bilanciare ogni stadio è impossibile poiché le reti neurali profonde sono operazioni di tensore di grana grossolana con quantità variabili di calcolo.

• Esploriamo il trasferimento di apprendimento…
• 5 Migliori Strumenti AI per Parlare in Pubblico (Dicembre 2023)
• Questo articolo sull’IA esplora il piano cerebrale tramite l’apprendimento profondo avanzando le reti neurali con le intuizioni delle neuroscienze e i tutorial della libreria snnTorch in Python.

I ricercatori dell’Università del Michigan e dell’Università di Washington hanno scoperto che non tutta l’energia consumata durante l’allenamento contribuisce direttamente alla velocità di allenamento end-to-end e può quindi essere significativamente ridotta senza rallentare l’allenamento. Hanno identificato le cause del consumo energetico intrinseco ed estrinseco e hanno proposto un unico framework di ottimizzazione chiamato Perseus che li minimizza entrambi.

La causa del consumo energetico intrinseco è lo squilibrio del calcolo, mentre il consumo energetico estrinseco riguarda più pipeline che vengono eseguite in parallelo e sincronizzate per aumentare l’ampiezza dell’allenamento in set di dati massicci. Le pipeline che vengono eseguite più velocemente rispetto alla pipeline che tarda sprecano energia che non influisce sulla velocità complessiva di allenamento.

Perseus caratterizza efficientemente l’energia dell’intero tempo di iterazione, riducendo al minimo il consumo energetico intrinseco in condizioni operative normali. Riduce i consumi energetici estrinseci attraverso una riduzione energetica subottimale. Trova il tempo di iterazione energetico ottimale per la pipeline che non ritarda rallentando in modo preciso i calcoli nella pipeline.

I ricercatori simulano ritardatari nell’allenamento di modelli di grandi dimensioni con parallelismo ibrido in varie configurazioni di scaling forte. Misurano la quantità di spreco di energia e i risparmi energetici estrinseci di Perseus. Alla fine della computazione, gli altri nodi che non ritardano attendono fino a quando il ritardatario completa la computazione, creando spreco energetico estrinseco. Riducono il numero di micro-batch e il rapporto delle bolle delle pipeline all’inizio e alla fine di ogni iterazione della pipeline. Ciò elimina il consumo energetico intrinseco, riducendo l’energia utilizzata.

L’integrazione di Perseus nel flusso di lavoro dell’allenamento ha importanti implicazioni per il futuro dello sviluppo dell’IA. Il loro lavoro può contribuire notevolmente alla sostenibilità dell’allenamento distribuito nella proliferazione dell’LLM e del GenAI.