Lo sviluppo accelerato dell’intelligenza artificiale solleva preoccupazioni sul consumo di elettricità e sul potenziale impatto ambientale dell’intelligenza artificiale e dei data center. Negli ultimi anni, il consumo di elettricità dei data center ha rappresentato un 1% relativamente stabile del consumo di elettricità globale, escluso il mining di criptovalute. Lo rivela un recente studio di Alex de Vries è un dottorando presso la VU Amsterdam School of Business and Economics e fondatore di Digiconomist.
Nel corso del 2022 e del 2023, l’intelligenza artificiale (AI) ha assistito a un periodo di rapida espansione e di ampia applicazione su larga scala. Importanti aziende tecnologiche come Alphabet e Microsoft hanno aumentato in modo significativo il loro supporto per l’intelligenza artificiale nel 2023, influenzate dal successo del lancio di ChatGPT di OpenAI, un chatbot AI generativo conversazionale che ha raggiunto 100 milioni di utenti in 2 mesi senza precedenti. In risposta, Microsoft e Alphabet hanno introdotto i propri chatbot, rispettivamente Bing Chat e Bard.1 Questo sviluppo accelerato solleva preoccupazioni sul consumo di elettricità e sul potenziale impatto ambientale dell’intelligenza artificiale e dei data center. Negli ultimi anni, il consumo di elettricità dei data center ha rappresentato un 1% relativamente stabile del consumo di elettricità globale, escluso il mining di criptovalute. Tra il 2010 e il 2018, il consumo energetico globale dei data center potrebbe essere aumentato solo del 6%.
La fase di addestramento dei modelli di intelligenza artificiale, spesso considerata quella ad alta intensità energetica, è stata al centro della ricerca sulla sostenibilità nell’intelligenza artificiale.3 In questa fase, un modello di intelligenza artificiale, come quello di ChatGPT, viene alimentato con grandi set di dati. I parametri inizialmente arbitrari del modello vengono adeguati per allineare strettamente il risultato previsto con il risultato target. Per i modelli linguistici di grandi dimensioni (LLM) come Generative Pre-trained Transformer 3 (GPT-3), da cui ChatGPT è stato sviluppato come variante specializzata, questo processo si traduce nell’imparare a prevedere parole o frasi specifiche in base a un determinato contesto. Una volta distribuiti, questi parametri guidano il comportamento del modello. Hugging Face ha riferito che il suo modello BigScience Large Open-Science Open-Access Multilingual (BLOOM) ha consumato 433 MWh di elettricità durante la formazione.4 Altri LLM, tra cui GPT-3, Gopher e Open Pre-trained Transformer (OPT), avrebbero utilizzato 1.287, rispettivamente 1.066 e 324 MWh per la formazione. Ciascuno di questi LLM è stato addestrato su terabyte di dati e dispone di 175 miliardi o più di parametri.
Dopo la formazione, i modelli vengono distribuiti in un ambiente di produzione e iniziano la fase di inferenza, in cui generano output basati su nuovi dati. Per uno strumento come ChatGPT, questa fase prevede la creazione di risposte in tempo reale alle query degli utenti. La fase di inferenza ha ricevuto relativamente poca attenzione nella letteratura riguardante la sostenibilità ambientale dell’IA. In una revisione sistematica della letteratura su questo argomento, Verdecchia et al. (2023)3 hanno scoperto che su 98 articoli a partire dal 2015, solo 17 articoli si concentravano sulla fase di inferenza, mentre 49 si concentravano sulla fase di formazione. Tuttavia, ci sono indicazioni che la fase di inferenza potrebbe contribuire in modo significativo ai costi del ciclo di vita di un modello di intelligenza artificiale. La società di ricerca SemiAnalysis ha suggerito che OpenAI richiedeva 3.617 server HGX A100 di NVIDIA, con un totale di 28.936 unità di elaborazione grafica (GPU), per supportare ChatGPT, il che implica una richiesta di energia di 564 MWh al giorno. Rispetto ai 1.287 MWh stimati utilizzati in GPT -3, il fabbisogno energetico della fase di inferenza appare notevolmente più elevato. Inoltre, Google ha riferito che il 60% del consumo energetico legato all’intelligenza artificiale dal 2019 al 2021 derivava da deduzioni.
Anche la società madre di Google, Alphabet, ha espresso preoccupazione per quanto riguarda i costi dell’inferenza rispetto ai costi della formazione. Tuttavia, dati contrastanti provenienti da Hugging Face indicano che il modello BLOOM ha consumato molta meno energia durante l’inferenza rispetto alla fase di formazione. Vari fattori, come la frequenza di riqualificazione dei modelli di intelligenza artificiale e il compromesso tra prestazioni del modello e consumo energetico, influenzano in definitiva questo rapporto. Rimane una questione aperta il modo in cui la fase di inferenza generalmente si confronta con la fase di addestramento in termini di consumo di elettricità, poiché la letteratura attuale offre informazioni aggiuntive minime sul peso relativo di ciascuna fase.3 Gli studi futuri dovrebbero quindi esaminare approfonditamente tutte le fasi del ciclo di vita di un Modello di intelligenza artificiale.
Sviluppo futuro dell’impronta energetica
Il boom dell’intelligenza artificiale del 2023 ha portato a un aumento della domanda di chip IA. Nell’agosto 2023, il produttore di chip NVIDIA ha registrato un fatturato record nel secondo trimestre basato sull’intelligenza artificiale di 13,5 miliardi di dollari per i tre mesi conclusisi a luglio 2023.7 In particolare, l’aumento del 141% nel segmento dei data center dell’azienda rispetto al trimestre precedente sottolinea la crescente domanda per i prodotti IA, portando potenzialmente a un aumento significativo dell’impronta energetica dell’IA. Ad esempio, aziende come Google di Alphabet potrebbero aumentare sostanzialmente la loro domanda di energia se l’intelligenza artificiale generativa fosse integrata in ogni ricerca su Google. SemiAnalysis ha stimato che l’implementazione di un’intelligenza artificiale simile a ChatGPT in ogni ricerca su Google richiederebbe 512.821 server NVIDIA A100 HGX, per un totale di 4.102.568 GPU.5 Con una richiesta di energia di 6,5 kW per server, ciò si tradurrebbe in un consumo di elettricità giornaliero di 80 GWh e un consumo annuo di elettricità consumo di 29,2 TWh. New Street Research è arrivata indipendentemente a stime simili, suggerendo che Google avrebbe bisogno di circa 400.000 server8, il che porterebbe a un consumo giornaliero di 62,4 GWh e un consumo annuale di 22,8 TWh. Con Google che attualmente elabora fino a 9 miliardi di ricerche al giorno, questi scenari porterebbero in media a un consumo energetico di 6,9-8,9 Wh per richiesta. Questa stima è in linea con il modello BLOOM di Hugging Face, che ha consumato 914 kWh di elettricità per 230.768 richieste,4 con una media di 3,96 Wh per richiesta.
Il presidente di Alphabet ha indicato nel febbraio 2023 che interagire con un LLM potrebbe “probabilmente costare 10 volte di più di una ricerca per parole chiave standard.6” Poiché una ricerca standard di Google utilizza, secondo quanto riferito, 0,3 Wh di elettricità,9 ciò suggerisce un consumo di elettricità di circa 3 Wh per LLM Questa cifra è in linea con la valutazione di SemiAnalysis dei costi operativi di ChatGPT all’inizio del 2023, che stimava che ChatGPT rispondesse a 195 milioni di richieste al giorno, richiedendo un consumo medio stimato di elettricità di 564 MWh al giorno o, al massimo, 2,9 Wh per richiesta La Figura 1 confronta le varie stime del consumo di elettricità derivante dall’interazione con un LLM con quello di una ricerca standard su Google.
Figura 1 Consumo energetico stimato per richiesta per vari sistemi basati sull’intelligenza artificiale rispetto a una ricerca Google standard
Questi scenari evidenziano il potenziale impatto sul consumo totale di elettricità di Google se ogni ricerca standard di Google diventasse un’interazione LLM, basata sui modelli e sulla tecnologia attuali.
Nel 2021, il consumo totale di elettricità di Google è stato di 18,3 TWh, con l’intelligenza artificiale che rappresenta il 10%-15% di questo totale.
Lo scenario peggiore suggerisce che l’intelligenza artificiale di Google da sola potrebbe consumare tanta elettricità quanto un paese come l’Irlanda (29,3 TWh all’anno), che rappresenta un aumento significativo rispetto al consumo energetico storico legato all’intelligenza artificiale. Tuttavia, questo scenario presuppone l’adozione dell’intelligenza artificiale su vasta scala utilizzando l’hardware e il software attuali, cosa che difficilmente avverrà rapidamente. Anche se la Ricerca Google ha una portata globale con miliardi di utenti, una curva di adozione così ripida è improbabile. Inoltre, NVIDIA non ha la capacità produttiva per consegnare tempestivamente 512.821 server A100 HGX e, anche se lo facesse, l’investimento totale di Google solo per questi server ammonterebbe a circa 100 miliardi di dollari.5 In 3 anni, i costi di ammortamento annuali su un investimento in server AI di 100 miliardi di dollari ammonterebbero a 33,33 miliardi di dollari. Tali spese hardware da sole avrebbero un impatto significativo sul margine operativo di Google. Google Search ha generato ricavi per 162,5 miliardi di dollari nel 2022, mentre Alphabet, la società madre di Google, ha registrato un margine operativo complessivo del 26%. Per Ricerca Google, ciò si tradurrebbe in un margine operativo di 42,25 miliardi di dollari. I costi dell’hardware, insieme a ulteriori miliardi in elettricità e altri costi, potrebbero rapidamente ridurre questo margine operativo a zero. In sintesi, mentre la rapida adozione della tecnologia AI potrebbe potenzialmente aumentare drasticamente il consumo di energia di aziende come Google, ci sono vari fattori legati alle risorse che potrebbero impedire il verificarsi di tali scenari peggiori.
Una proiezione più pragmatica della visione mondiale del consumo di elettricità correlato a I potrebbe essere ricavato dalle vendite di NVIDIA in questo segmento. Data la sua quota di mercato stimata del 95% nel 2023, NVIDIA è leader nel mercato dei server AI. Si prevede che l’azienda consegnerà 100.000 dei suoi server AI nel 2023.10 Se funzionassero a piena capacità (ovvero 6,5 kW per i server NVIDIA DGX A100 e 10,2 kW per i server DGX H100), questi server avrebbero una domanda di energia combinata di 650-1.020 MW . Su base annua, questi server potrebbero consumare fino a 5,7–8,9 TWh di elettricità. Rispetto al consumo storico annuale stimato di elettricità dei data center, pari a 205 TWh,2 questo è quasi trascurabile.
Inoltre, è probabile che la catena di fornitura dei server AI rimanga un collo di bottiglia ancora per molti anni. Anche il fornitore di chip di NVIDIA, TSMC, sta lottando per espandere la sua tecnologia di packaging chip-on-wafer-on-substrate (CoWoS), essenziale per la fornitura dei chip richiesti da NVIDIA. TSMC sta investendo in un nuovo impianto di confezionamento CoWoS, ma non si prevede che questo impianto inizi la produzione in volumi prima del 2027.11 Entro quest’anno, NVIDIA potrebbe spedire 1,5 milioni di unità server AI, anche se si prevede che la sua quota di mercato diminuirà.10 Considerato con un profilo di consumo elettrico simile, queste macchine potrebbero avere una domanda di energia combinata di 9,75–15,3 GW. Ogni anno, questa quantità di server potrebbe consumare tra 85,4 e 134,0 TWh di elettricità. In questa fase, questi server potrebbero rappresentare un contributo significativo al consumo di elettricità dei data center a livello mondiale. Con NVIDIA che ha ampiamente superato le aspettative degli analisti durante la prima metà del 2023,7 la catena di fornitura dei server AI è sulla buona strada per realizzare la crescita prevista. Un avvertimento importante da considerare in questo scenario è che i tassi di utilizzo saranno probabilmente inferiori al 100%, il che mitigherà parte del potenziale consumo di elettricità. Un altro fattore da considerare è il consumo energetico generale (ad esempio, il raffreddamento del server), che aumenta il consumo elettrico totale relativo alle unità server AI.
Oltre ai miglioramenti nell’efficienza dell’hardware, le innovazioni nelle architetture dei modelli e negli algoritmi potrebbero aiutare a mitigare o addirittura ridurre il consumo di elettricità legato all’intelligenza artificiale a lungo termine. Il Generalist Language Model (GLaM) di Google è stato addestrato su 7 volte il numero di parametri inclusi in GPT-3, ma ha richiesto 2,8 volte meno energia per questo processo solo 18 mesi dopo l’addestramento di GPT-3.2 Tuttavia, questa prospettiva trascura quella di Jevons Paradosso, formulato nel 1865 e che si verifica quando l’aumento dell’efficienza si traduce in un aumento della domanda, portando a un aumento netto dell’uso delle risorse. Questo effetto è stato osservato da tempo nella storia del cambiamento tecnologico e dell’automazione,12 con esempi recenti nelle applicazioni dell’intelligenza artificiale.13 In effetti, l’improvviso aumento di interesse per l’intelligenza artificiale generativa durante il 2022 e il 2023, durante i quali la domanda ha iniziato a superare l’offerta, potrebbe essere parte di tale effetto di rimbalzo. Inoltre, i miglioramenti nell’efficienza dei modelli ora consentono a singole GPU di livello consumer di addestrare modelli di intelligenza artificiale. Ciò implica che la crescita del consumo di elettricità legato all’intelligenza artificiale avrà origine non solo da nuove GPU ad alte prestazioni come le GPU A100 e H100 di NVIDIA, ma anche da GPU più generiche. È già vero che gli ex minatori di criptovaluta che utilizzavano tali GPU hanno iniziato a riutilizzare la loro potenza di calcolo per attività legate all’intelligenza artificiale. Molte di queste GPU sono rimaste ridondanti nel settembre del 2022, quando Ethereum, la seconda criptovaluta più grande, ha sostituito il suo algoritmo di mining ad alta intensità energetica con un’alternativa più sostenibile. Si stima che il cambiamento abbia ridotto la domanda totale di energia di Ethereum al massimo di 9,21 GW.14 Ciò equivale a 80,7 TWh di consumo annuo di elettricità. È stato suggerito che il 20% delle GPU precedentemente utilizzate dai minatori di Ethereum potrebbero essere riutilizzate per l’uso nell’intelligenza artificiale, in una tendenza denominata “mining 2.0”.15 Sulla base di una richiesta di energia di 9,21 GW, ciò equivale a un massimo di 1,84 GW. A sua volta, ciò potrebbe comportare uno spostamento di 16,1 TWh di consumo annuo di elettricità verso l’intelligenza artificiale, con un maggior numero di dispositivi che potrebbero seguire poiché i continui miglioramenti nell’efficienza dei modelli continuano ad ampliare la gamma di hardware adatto agli scopi dell’intelligenza artificiale.
Infine, il miglioramento dell’efficienza del modello può anche influenzare il compromesso tra prestazioni del modello e costi dell’elettricità. Le prestazioni dei modelli di intelligenza artificiale raggiungono spesso un punto critico in cui anche miglioramenti minori della precisione diventano eccessivamente dispendiosi in termini di energia.3 Aumentando l’efficienza dei modelli e riducendo i relativi costi energetici, gli sforzi per migliorare ulteriormente questi modelli possono diventare più fattibili, annullando così alcuni dei guadagni di efficienza. .
Conclusione
Sebbene il futuro esatto del consumo di elettricità legato all’intelligenza artificiale rimanga difficile da prevedere, gli scenari discussi in questo commento sottolineano l’importanza di mitigare le aspettative sia eccessivamente ottimistiche che eccessivamente pessimistiche. L’integrazione dell’intelligenza artificiale in applicazioni come Ricerca Google può aumentare significativamente il consumo di elettricità di queste applicazioni. Tuttavia, sono probabili vari fattori legati alle risorse per frenare la crescita del consumo globale di elettricità legato all’intelligenza artificiale nel breve termine. Allo stesso tempo, è probabilmente troppo ottimistico aspettarsi che i miglioramenti nell’efficienza dell’hardware e del software compenseranno completamente eventuali cambiamenti a lungo termine nel consumo di elettricità legato all’intelligenza artificiale. Questi progressi possono innescare un effetto di rimbalzo in base al quale una maggiore efficienza porta ad un aumento della domanda di intelligenza artificiale, aumentando anziché ridurre l’utilizzo totale delle risorse. L’entusiasmo per l’intelligenza artificiale del 2022 e del 2023 potrebbe essere parte di tale effetto di ripresa, e questo entusiasmo ha messo la catena di fornitura dei server AI sulla buona strada per fornire un contributo più significativo al consumo di elettricità dei data center a livello mondiale nei prossimi anni. Inoltre, il miglioramento dell’efficienza potrebbe anche potenzialmente sbloccare un inventario significativo di GPU più vecchie e inutilizzate, come quelle precedentemente utilizzate nel mining della criptovaluta Ethereum, da riutilizzare per l’intelligenza artificiale. Pertanto, sarebbe consigliabile che gli sviluppatori non solo si concentrassero sull’ottimizzazione dell’intelligenza artificiale, ma considerassero anche in modo critico la necessità di utilizzare l’intelligenza artificiale in primo luogo, poiché è improbabile che tutte le applicazioni trarranno vantaggio dall’intelligenza artificiale o che i benefici supereranno sempre i vantaggi. costi. Le informazioni sull’utilizzo delle risorse nei casi in cui viene applicata l’intelligenza artificiale sono limitate, quindi le autorità di regolamentazione potrebbero prendere in considerazione l’introduzione di specifici requisiti di divulgazione ambientale per migliorare la trasparenza lungo la catena di fornitura dell’intelligenza artificiale, favorendo una migliore comprensione dei costi ambientali di questa tendenza tecnologica emergente.
Gli autori non dichiarano interessi concorrenti.
Le opinioni espresse in questo articolo sono dell’autore.
Leggi le ultime news su: https://w3b.today
Può interessarti anche: Un avatar nel metaverso consuma la stessa energia di un cittadino del Sud America
Può interessarti anche: Russia: il consumo di energia per le criptovalute supera quello per l’agricoltura
Seguici su Telegram https://t.me/presskit
Seguici su Facebook https://www.facebook.com/presskit.it
