Un nuovo studio mostra come ridurre i mostruosi consumi energetici dell’intelligenza artificiale. “Le grandi reti neurali impiegano la maggior parte dei calcoli sulle moltiplicazioni di tensori in virgola mobile”, spiegano Hongyin Luo e Wei Sun in un nuovo studio (lo trovate qui).
La loro soluzione è sostituire i sistemi di calcolo energevori attuali con “un moltiplicatore in virgola mobile, che può essere approssimato da un sommatore intero con elevata precisione.
Proponiamo l’algoritmo di moltiplicazione di complessità lineare L-Mul che approssima la moltiplicazione di numeri in virgola mobile con operazioni di addizione di interi.
Il nuovo algoritmo costa significativamente meno risorse di calcolo rispetto alla moltiplicazione in virgola mobile a 8 bit, ma ottiene una maggiore precisione.
Rispetto alle moltiplicazioni in virgola mobile a 8 bit, il metodo proposto ottiene una maggiore precisione ma consuma significativamente meno calcoli a livello di bit.
Poiché la moltiplicazione di numeri in virgola mobile richiede un’energia sostanzialmente maggiore rispetto alle operazioni di addizione di interi, l’applicazione dell’operazione L-Mul nell’hardware di elaborazione dei tensori può potenzialmente ridurre il 95% del costo energetico delle moltiplicazioni di tensori in virgola mobile elemento per elemento e l’80% del costo energetico dei prodotti scalari.
Abbiamo calcolato l’aspettativa di errore teorica di L-Mul e valutato l’algoritmo su un’ampia gamma di attività testuali, visive e simboliche, tra cui comprensione del linguaggio naturale, ragionamento strutturale, matematica e risposte a domande di buon senso. I nostri esperimenti di analisi numerica concordano con la stima dell’errore teorico, che indica che L-Mul con mantissa a 4 bit raggiunge una precisione comparabile alle moltiplicazioni float8_e4m3 e L-Mul con mantissa a 3 bit supera float8_e5m2. I risultati della valutazione sui benchmark più diffusi mostrano che l’applicazione diretta di L-Mul al meccanismo di attenzione è quasi senza perdite. Mostriamo inoltre che la sostituzione di tutte le moltiplicazioni in virgola mobile con mantissa a 3 bit L-Mul in un modello di trasformatore raggiunge una precisione equivalente all’utilizzo di float8_e4m3 come precisione di accumulo sia nella messa a punto che nell’inferenza”.
Le opinioni espresse in questo articolo sono dell’autore.
Leggi le ultime news su: https://w3b.today
Può interessarti anche: Il mining di BitCoin rappresenta oltre lo 0,77% del consumo globale di elettricità
Seguici su Telegram https://t.me/presskit
Seguici su Facebook https://www.facebook.com/presskit.it
Seguici su X: https://x.com/Presskit_
Copiate l’articolo, se volete, vi chiediamo solo di mettere un link al pezzo original
