Emissioni di carbonio di una squadra di ingegneria ML

Emissioni di carbonio di una squadra di ingegneria ML l'impatto ambientale delle innovazioni tecnologiche

Il costo nascosto dello sviluppo che conta davvero

Tutti sono consapevoli della crisi climatica causata dal riscaldamento globale come risultato delle attività umane. Per prevenire le sue conseguenze catastrofiche [1], il mondo ha bisogno di ridurre drasticamente le emissioni di gas serra, con molti paesi che si pongono l’obiettivo di zero emissioni nette entro il 2050.

Il boom tecnologico dell’intelligenza artificiale negli ultimi anni ha anche sollevato preoccupazioni per il suo costo ambientale. Se guardiamo solo ai suoi contributi diretti, questo si manifesta attraverso l’uso di elettricità per addestrare e alimentare i modelli. Ad esempio, l’addestramento di ChatGPT-3 con i suoi 175 miliardi di parametri ha generato ben 502 tonnellate di emissioni equivalenti di carbonio (tCO2e) [2]. La new-entry Llama2 produce un valore simile di 539 tCO2e nell’addestramento dei suoi quattro modelli [3]. Per dare un contesto, ognuno di questi è equivalente alle emissioni di un passeggero che compie un volo solo andata da New York a San Francisco per 500 volte.

Lavoro in un team di ingegneria di apprendimento automatico e questa domanda mi ha spinto costantemente. Quante emissioni di carbonio contribuiamo attraverso il consumo di elettricità? Ci sono modi per ridurlo? E qui inizia un primo tentativo di contabilizzazione del carbonio da parte nostra.

Metodi

Non esiste un modo singolo e diretto per misurare il nostro consumo di elettricità e di conseguenza il nostro impatto sul carbonio. Questo è dovuto alla varietà di piattaforme e servizi che utilizziamo. Non approfondirò le implementazioni tecniche, ma a grandi linee, si compone di tre metodi.

• Considerazioni pratiche nella progettazione dell’applicazione RAG
• Esaminando l’impatto del boom dell’IA sui servizi cloud
• Dal 2D al 3D Perfezionare la coerenza nella generazione di testo in 3D con priorità geometriche allineate

1. Fornito: Le cifre esatte delle emissioni di carbonio sono già calcolate per noi. Questo è stato fornito dal nostro fornitore di servizi cloud (CSP).
2. Strumenti: Abbiamo utilizzato alcuni software come Powermetics, Nvidia-SMI e Turbostat per misurare la potenza in watt, che monitora il calcolo della CPU e della GPU per i nostri laptop e server in loco.
3. Autocalcolato: Quando ciò non è possibile, utilizziamo metodi proxy per il calcolo. Ciò consiste nel registrare la durata del calcolo, stimare la percentuale di utilizzo del/delle chip, nonché trovare la potenza termica di progetto (TDP) di ciascun tipo di chip per calcolare la potenza consumata. Il resto delle piattaforme viene calcolato in questo modo.