L’impronta di carbonio dell’intelligenza artificiale

Carbon footprint of artificial intelligence

L’utilizzo sempre più diffuso dell’intelligenza artificiale (IA) è evidente in tutti gli aspetti della società, dai modelli utilizzati per abilitare le auto semiautonome, ai modelli che forniscono raccomandazioni su siti di streaming o di e-commerce, e nei modelli di linguaggio utilizzati per creare un’interazione più naturale e intuitiva tra uomo e macchina. Tuttavia, questi risultati tecnologici comportano dei costi, ovvero l’enorme quantità di energia elettrica necessaria per addestrare gli algoritmi di IA, costruire e gestire l’hardware su cui vengono eseguiti questi algoritmi e far funzionare e mantenere tale hardware durante tutto il suo ciclo di vita.

Il costo dell’elettricità non è l’unico impatto; le centrali elettriche tradizionali che utilizzano combustibili fossili (così come alcuni processi geotermici) per produrre energia emettono quantità relativamente elevate di anidride carbonica (CO 2 ) durante la generazione di elettricità, rispetto alle fonti di energia rinnovabile come le centrali solari, eoliche o nucleari, che non lo fanno. Tale CO 2 emessa ha un impatto diretto sull’ambiente. (Vedi l’articolo di Andrew Chien nella pagina 5.)

Torna all’inizio

Perché è difficile quantificare le impronte di carbonio

Sebbene tutto il software abbia una propria impronta di carbonio, che corrisponde alla quantità di CO 2 direttamente correlata al suo utilizzo, i modelli di IA grandi e complessi hanno un costo ambientale significativo e sono sempre più oggetto di attenzione. Gli algoritmi di IA vengono addestrati ed eseguiti in data center di IA, che sono responsabili di una certa quantità di emissioni di CO 2 in base al tempo di calcolo e al tipo di unità di elaborazione grafica (GPU) che impone diversi livelli di consumo energetico, in base al parallelismo dei dati, all’uso della memoria e ai livelli di prestazioni), alla fonte di energia e alla quantità di elettricità utilizzata nella costruzione e nell’implementazione dell’infrastruttura di calcolo. Oltre all’elettricità consumata e alla CO 2 generata durante lo sviluppo o l’utilizzo di un algoritmo, i processi utilizzati per estrarre le materie prime dalla Terra che vengono utilizzate nell’hardware e nei data center su cui vengono eseguiti gli algoritmi di IA; i processi di produzione utilizzati per costruire, assemblare, trasportare e installare tale hardware; e il costo dello smaltimento di tale hardware una volta esaurita la sua vita utile contribuiscono tutti all’impronta di carbonio complessiva di un algoritmo di IA.

• La modellazione 3D si basa sull’IA
• Algoritmo per il Rilevamento e il Movimento Robotico
• Le prove assistite dal computer affrontano il flusso di fluidi

“Il modo più sicuro per considerare l’impronta di carbonio dell’IA è semplicemente considerarla come una parte dell’impronta di carbonio complessiva delle tecnologie dell’informazione e delle comunicazioni (ICT), che si stima in modo generale tra l’1,8% e il 2,8% nel 2020”, afferma Matt Warburton, consulente principale e responsabile della sostenibilità presso la società globale di ricerca e consulenza tecnologica ISG, che fa riferimento a un articolo del 2021 su Patterns che sottolinea anche che altre stime dell’impronta di carbonio dell’IA variano dal 2,1% al 3,9% della quota totale delle emissioni di gas serra. “Gli impatti sono quindi modesti in confronto a settori più inquinanti come la produzione e il trasporto”, afferma Warburton. L’Agenzia per la Protezione dell’Ambiente degli Stati Uniti (EPA) sottolinea che il trasporto (27%) e l’industria (24%) hanno rappresentato una parte significativa delle emissioni totali di gas serra nel 2020 ( http://bit.ly/3KNoWJl ).

Questo approccio aggregato non considera l’impronta di carbonio di ciascun singolo modello, che può essere più difficile da determinare con precisione, principalmente a causa della mancanza di dati dettagliati sul consumo di energia di molti grandi modelli di IA. Tuttavia, la startup di IA Hugging Face ha pubblicato un articolo ( http://bit.ly/3xJgnar ) che ha calcolato l’impronta di carbonio di uno dei propri modelli di IA, tenendo conto delle emissioni prodotte durante l’intero ciclo di vita del modello, anziché solo durante l’addestramento.

L’articolo di Hugging Face ha stimato le emissioni complessive per il proprio grande modello di linguaggio, BLOOM, calcolando o stimando una serie di variabili, inclusa la quantità di energia utilizzata per addestrare il modello su un supercomputer, l’energia necessaria per la produzione dell’hardware del supercomputer e per mantenere la sua infrastruttura di calcolo, e l’energia utilizzata per eseguire BLOOM una volta che è stato implementato. I ricercatori hanno calcolato quest’ultima parte utilizzando uno strumento software chiamato CodeCarbon ( https://codecarbon.io/ ), che ha monitorato in tempo reale le emissioni di CO 2 prodotte da BLOOM per un periodo di 18 giorni.

Hugging Face ha stimato che l’addestramento di BLOOM ha comportato 25 tonnellate metriche di emissioni di CO 2 , una cifra che è raddoppiata a 50 tonnellate metriche di emissioni di CO 2 quando si tiene conto delle emissioni prodotte dalla produzione dell’attrezzatura informatica utilizzata per l’addestramento, dell’infrastruttura informatica più ampia e dell’energia necessaria per eseguire BLOOM una volta addestrato.

Anche se è possibile utilizzare hardware più veloce o più efficiente per ridurre il tempo di addestramento dei modelli di intelligenza artificiale, la dimensione complessiva e la complessità del modello che viene addestrato hanno il maggior impatto sulla quantità di emissioni di CO2. In generale, i modelli più grandi consumano più energia rispetto a quelli più piccoli perché sono più complessi e richiedono più tempo di calcolo per l’addestramento. Ad esempio, GPT-1 (giugno 2018) include circa 0,12 miliardi di parametri; GPT-2 (febbraio 2019) ne include circa 1,5 miliardi; e GPT-3 (maggio 2020) ne include circa 175 miliardi, con un impatto ambientale che aumenta all’aumentare della complessità. Tuttavia, tutto ciò può essere mitigato attraverso diverse tecniche.

La dimensione complessiva e la complessità di un modello di intelligenza artificiale che viene addestrato hanno il maggior impatto sulla quantità di emissioni di CO2.

La compressione, una tecnica che riduce la larghezza dei bit di ciascun parametro incluso nel modello, può ridurre la dimensione del modello e il consumo di energia. Altre tecniche includono la quantizzazione dei dati e la potatura (che rimuove parametri e connettori ridondanti da un modello), la distillazione (che addestra un modello più piccolo con le conoscenze di un modello più grande per creare un modello più piccolo ed efficiente) e il trasferimento di apprendimento (in cui l’addestramento di un modello più grande viene avviato utilizzando le conoscenze acquisite da un modello più piccolo). Tutte queste tecniche sono state progettate per ridurre il tempo di addestramento, il che comporta una riduzione della quantità di energia consumata.

Il fattore più importante nel determinare i livelli di emissione di CO2 è la fonte di energia elettrica utilizzata. Il modello BLOOM di Hugging Face è stato addestrato su un supercomputer francese alimentato principalmente da energia nucleare, che non produce emissioni di anidride carbonica. I modelli addestrati in regioni in cui le reti energetiche si basano principalmente su combustibili fossili sono probabilmente molto più inquinanti e hanno una impronta di carbonio molto più elevata. Ad esempio, si stima che GPT-3 di Open Al ed OPT di Meta abbiano emesso rispettivamente più di 500 e 75 tonnellate metriche di anidride carbonica durante l’addestramento (sebbene le emissioni di CO2 molto più elevate di GPT-3 possano essere in parte spiegate dal fatto che l’algoritmo è stato addestrato su hardware più vecchio e meno efficiente).

Anche altri ricercatori hanno pubblicato articoli che mettono in evidenza l’impronta di carbonio relativamente elevata dei modelli di intelligenza artificiale. L’Allen Institute for AI e Microsoft, in collaborazione con colleghi dell’Università Ebraica, della Carnegie Mellon University e di Hugging Face, hanno misurato le emissioni di carbonio operative dei carichi di lavoro di Azure AI moltiplicando il consumo energetico di un carico di lavoro cloud per l’intensità di carbonio della rete che alimenta il data center. I ricercatori hanno scoperto che un modello di linguaggio con sei miliardi di parametri emette più CO2 rispetto a una casa media negli Stati Uniti in un anno, anche se è stato addestrato solo al 13% del tempo necessario per raggiungere la capacità di addestramento completa. Se il modello fosse addestrato completamente, l’Allen Institute for AI stima che una sessione di addestramento completa “emetterebbe circa un ordine di grandezza di emissioni in più”. La comunità della ricerca, insieme agli sviluppatori di intelligenza artificiale commerciali, si concentra più sulla performance che sulla sostenibilità, il che preoccupa alcuni osservatori del settore.

“Quando gli sviluppatori di intelligenza artificiale creano nuovi sistemi, cercano di migliorare le prestazioni, l’accuratezza o le capacità del modello e si concentrano meno sull’efficienza”, afferma Jesse Dodge, un ricercatore presso l’Allen Institute for AI. “Con alcuni dei modelli più recenti che sono stati sviluppati da aziende di ricerca e sviluppo di intelligenza artificiale a scopo di lucro, c’è una mancanza intenzionale di trasparenza. Non vogliono comunicare pubblicamente ciò che hanno fatto per addestrare quei modelli e il numero di ore di GPU che sono state utilizzate, perché questo fornisce loro un vantaggio competitivo.”

Dodge afferma che il maggior ostacolo per capire l’impronta di carbonio dell’intelligenza artificiale è questa mancanza di trasparenza, che secondo lui richiederà una qualche forma di legislazione sulla trasparenza o sulla riduzione delle emissioni per essere superata. “Penso che ci vorrà un po’ di tempo, ma mi aspetto che vedremo qualche regolamentazione in futuro”, dice Dodge. “Il regolamento europeo sull’intelligenza artificiale ha preso in considerazione l’inclusione di informazioni come i requisiti di trasparenza sulle emissioni di CO2, ma ciò non è stato incluso nella versione finale della legge pubblicata.”

Inoltre, oltre alla comunità scientifica di ricerca, sembra esserci una mancanza di consapevolezza generale sull’impatto dell’intelligenza artificiale sulle emissioni di carbonio. “Penso che le persone vedano l’intelligenza artificiale come una cosa intangibile che spesso si trova nel cloud”, afferma Sasha Luccioni, un ricercatore presso Hugging Face. “Penso che ci sia anche un aspetto di bias cognitivo; ‘Siri non ha una forma fisica, quindi come potrebbe avere un impatto ambientale?'”

Luccioni sottolinea una difficoltà chiave nel valutare la vera impronta di un algoritmo, osservando che oltre all’opacità dei data scientist, i fornitori di infrastrutture informatiche, inclusi i produttori di GPU, i fornitori di hardware per data center e tutti i loro fornitori di componenti, tendono a scaricare la responsabilità delle emissioni di CO2 sugli altri.

“Ho parlato con persone [presso i fornitori di hardware] che dicono: ‘Beh, sai, abbiamo migliaia di fornitori che producono centinaia di prodotti'”, afferma Luccioni. “Quindi è davvero difficile per loro rintracciare ciascuno e dire: ‘dove è il tuo rapporto sulla sostenibilità?’”

Dodge sostiene che il maggior ostacolo per comprendere l’impronta di carbonio dell’IA sia la mancanza di trasparenza delle aziende di sviluppo dell’IA a scopo di lucro.

Oltre a tracciare o calcolare l’impronta di carbonio dei modelli di IA, gli esperti intervistati per questa storia concordano sul fatto che sia più importante considerare i passi che dovrebbero essere intrapresi per ridurre l’impatto che l’IA avrà sull’ambiente.

L’acquisto di crediti di compensazione delle emissioni di carbonio, sebbene utile nel ridurre l’impronta di carbonio di un modello sulla carta, non riduce veramente la quantità di carbonio emesso, afferma Luccioni, notando che “se stai usando un centro energetico molto intensivo di carbonio per addestrare un modello per due milioni di ore e poi stai acquistando un mucchio di crediti di energia rinnovabile, non è proprio la stessa cosa”.

Warburton afferma che l’utilizzo finale di un modello di IA, insieme al fatto che sia focalizzato sulla sostenibilità e sul bene pubblico, dovrebbe essere considerato prima di costruire e addestrare un modello. “Valutare la sostenibilità dell’IA dovrebbe essere considerato nel contesto dell’esito che produce”, afferma Warburton. “L’IA che accelera la scoperta di composti chimici che dimezzano le emissioni del cemento, senza compromessi inaccettabili, è chiaramente più sostenibile dell’utilizzo dell’IA per estrarre criptovalute”.

Dodge concorda, notando che alcune delle grandi compagnie petrolifere utilizzano sistemi di intelligenza artificiale per aumentare i tassi di estrazione del petrolio. “Puoi addestrarlo in modo efficiente quanto vuoi”, dice Dodge, ma “se poi utilizzi quell’IA per estrarre più petrolio dal suolo, allora ciò porterà a maggiori emissioni nel lungo periodo”.

Le soluzioni che sono forse più facili da attuare sono scegliere di addestrare un algoritmo su un servizio cloud che si trova in una regione con bassa intensità di carbonio e dimensionare correttamente il numero di parametri utilizzati nell’algoritmo. Luccioni afferma che alcuni sviluppatori di IA scelgono semplicemente di addestrare i loro modelli nei data center più potenti disponibili, anche se il loro modello non ha bisogno di quel tipo di potenza di calcolo. Molti di questi data center si trovano negli Stati Uniti e in altri paesi che dipendono fortemente dai combustibili fossili per la generazione di energia e, come tale, daranno origine a un modello con un’ampia impronta di carbonio.

“Attualmente, le persone non pensano necessariamente a questo quando avviano un lavoro di addestramento”, dice Luccioni. Inoltre, dice, “ci sono alcune ricerche che mostrano che più grande è l’algoritmo, migliore è, ma questo non è conclusivo. Non è come se l’aggiunta di un miliardo di parametri porterà a un miglioramento del 1% in termini di accuratezza”.

Dodge concorda, notando che nella sua ricerca molte delle emissioni di CO2 sono state calcolate dall’elettricità consumata nell’addestramento del modello. “Scegliere la regione in cui si addestra il modello o mettere il modello in produzione può avere un impatto piuttosto grande”, dice Dodge. “Abbiamo scoperto che addestrare nella regione meno intensa in carbonio, rispetto alla regione più intensa in carbonio, potrebbe ridurre le emissioni di circa due terzi, a un terzo di quello che sarebbero state le emissioni complete”.

Ulteriori letture

Luccioni, A.S. et al. Estimating the Carbon Footprint of BLOOM, a 176B Parameter Language Model. November 2022. https://arxiv.org/pdf/2211.02001.pdf

Frietag, C. et al. The real climate and transformative impact of ICT: A critique of estimates, trends, and regulations. Patterns , Volume 2, Issue 9, September 2021. https://www.sciencedirect.com/science/article/pii/S2666389921001884#!

Buchanan, W. and Dodge, J. Measuring and Mitigating Carbon Intensity Allen Institute for AI, June 13, 2022, https://bit.ly/3kiTLKZ

Video: Le aziende di chip si preoccupano più della velocità grezza che dell’impronta di carbonio: https://www.youtube.com/watch?v=2Z6Sv_ZldMM

Torna all’inizio

Autore

Keith Kirkpatrick è il principale di 4K Research & Consulting, LLC, con sede a New York, NY, USA.

©2023 ACM  0001-0782/23/8

È consentito effettuare copie digitali o cartacee di parte o di tutto questo lavoro per uso personale o in classe senza alcun costo, a condizione che le copie non siano fatte o distribuite a scopo di lucro o vantaggio commerciale e che le copie riportino questa nota e la citazione completa nella prima pagina. I diritti d’autore per i componenti di questo lavoro di proprietà di soggetti diversi da ACM devono essere rispettati. L’astrazione con il riconoscimento è consentita. Per copiare in altro modo, ripubblicare, pubblicare su server o ridistribuire su elenchi, è necessario ottenere preventivamente un’autorizzazione specifica e/o un pagamento. Richiedere l’autorizzazione a pubblicare a [email protected] o via fax al numero (212) 869-0481.

La Digital Library è pubblicata dall’Association for Computing Machinery. Copyright © 2023 ACM, Inc.