Il consumo energetico di ChatGPT per ogni richiesta
Consumo energetico di ChatGPT per richiesta
Quanta elettricità consuma ChatGPT per rispondere a una domanda?
Questo articolo presenta un intervallo all’interno del quale può cadere il consumo di elettricità per query di ChatGPT e lo confronta con il consumo energetico misurato di altri due grandi modelli di linguaggio (LLM).
Questo è un compito interessante per due ragioni:
Innanzitutto, se le organizzazioni conoscono la quantità di elettricità che ChatGPT richiede per rispondere a una domanda, possono approssimare l’impronta di carbonio associata al loro utilizzo di ChatGPT o servizi simili come le API di LLM di OpenAI.
Per più di 50.000 imprese europee, questo potrebbe presto diventare molto rilevante, poiché la prossima Direttiva sulla Responsabilità Sociale delle Imprese (CSRD) probabilmente le obbligherà a divulgare le emissioni di portata 3 nei loro rapporti di gestione [1]. Mi aspetto che l’uso di servizi come ChatGPT cada sotto la portata 3 perché il calcolo cloud è considerato portata 3 [2]. Spero che questo articolo possa fornire ispirazione su come stimare le emissioni di portata 3 della tua organizzazione da ChatGPT e servizi simili.
- Riconoscimento della lingua parlata su Mozilla Common Voice – Parte II Modelli.
- Incontra il progetto Rumi Indicazioni paralinguistiche multimodali per grandi modelli di linguaggio
- Realizzazione di una nuova conferenza di calcio universitario – Regressione
Un altro motivo per cui è interessante analizzare il consumo energetico di ChatGPT per query è che consentirà alle persone di fare le proprie stime del consumo totale di elettricità o dell’impronta di carbonio di ChatGPT. Pertanto, spero che questo post nel blog possa ispirare altri a pubblicare lavori simili.
Nella restante parte di questo articolo, i termini “query” e “richiesta” saranno usati in modo intercambiabile.
Unisciti a VoAGI con il mio link di riferimento – Kasper Groes Albin Ludvigsen
Come membro di VoAGI, una parte della tua quota di iscrizione va agli scrittori che leggi e hai accesso completo a ogni storia…
kaspergroesludvigsen.medium.com
Metodologia per stimare il consumo di elettricità di ChatGPT per query
In questa sezione, presenterò la metodologia utilizzata per produrre stime del consumo di elettricità di ChatGPT per query. Le stime si basano su due metodi differenti:
- Uno nel quale stimiamo il consumo energetico totale dell’hardware su cui presumibilmente viene eseguito ChatGPT e dividiamo per il numero ipotizzato di query giornaliere
- Uno nel quale utilizziamo i dati riportati…
