“La domanda principale che tutti si pongono è quanto saranno dirompenti i modelli linguistici di grandi dimensioni (LLM) per la ricerca?”, si chiedono Dylan Patel e Afzal Ahamad
“Se i LLM simili a ChatGPT venissero implementati nella ricerca (query), ciò rappresenterebbe un trasferimento diretto di 30 miliardi di dollari di profitti di Google nelle mani dei picconi e delle pale dell’industria informatica.
Costi Google per query, per singola ricerca
Le nostre fonti indicano che Google esegue circa 320.000 query di ricerca al secondo. Confronta questo dato con il segmento di business Ricerca di Google, che ha registrato un fatturato di 162,45 miliardi di dollari nel 2022, e otterrai un ricavo medio per query di 1,61 centesimi. Da qui, Google deve pagare un’enorme quantità di spese generali derivanti dal calcolo e dalla rete per ricerche, pubblicità, scansione web, sviluppo di modelli, dipendenti, ecc. Una voce degna di nota nella struttura dei costi di Google è che hanno pagato circa $ 20 B come motore di ricerca predefinito sui prodotti Apple.
La business unit Servizi di Google ha un margine operativo del 34,15%. Se assegniamo il COGS/spese operative per query, arriviamo al costo di 1,06 centesimi per query di ricerca, generando 1,61 centesimi di entrate. Ciò significa che una query di ricerca con un LLM deve essere significativamente inferiore a <0,5 centesimi per query, altrimenti l’attività di ricerca diventerebbe estremamente non redditizia per Google.
Siamo entusiasti di annunciare che il nuovo Bing è in esecuzione su un nuovo modello di linguaggio OpenAI di nuova generazione, più potente di ChatGPT e personalizzato specificamente per la ricerca. Prende gli insegnamenti e i progressi chiave di ChatGPT e GPT-3.5 ed è ancora più veloce, più preciso e più capace.
Costi ChatGPT per query, per singola ricerca
La stima dei costi di ChatGPT è una proposta complicata a causa di diverse variabili sconosciute. Abbiamo creato un modello di costo che indica che ChatGPT costa $ 694.444 al giorno per operare nei costi dell’hardware di elaborazione. OpenAI richiede circa 3.617 server HGX A100 (28.936 GPU) per servire Chat GPT. Stimiamo che il costo per query sia di 0,36 centesimi.
Il nostro modello è costruito da zero sulla base dell’inferenza, ma è in linea con il tweet di Sam Altman e un’intervista rilasciata di recente. Supponiamo che OpenAI abbia utilizzato un’architettura di modello denso GPT-3 con una dimensione di 175 miliardi di parametri, dimensione nascosta di 16k, lunghezza della sequenza di 4k, token medi per risposta di 2k, 15 risposte per utente, 13 milioni di utenti attivi giornalieri, utilizzo FLOPS velocità 2 volte superiori rispetto a FasterTransformer con latenza <2000 ms, quantizzazione int8, tassi di utilizzo dell’hardware del 50% dovuti esclusivamente al tempo di inattività e costo di $ 1 per ora GPU.
Se il modello ChatGPT venisse intromesso nelle attività di ricerca esistenti di Google, l’impatto sarebbe devastante. Ci sarebbe una riduzione di 36 miliardi di dollari nel reddito operativo. Si tratta di 36 miliardi di dollari di costi di inferenza LLM. Tieni presente che questo non è l’aspetto della ricerca con gli LLM.
Implementazione dell’attuale ChatGPT in ogni ricerca effettuata da Google richiederebbe 512.820,51 server A100 HGX con un totale di 4.102.568 GPU A100. Il costo totale di questi server e reti supera i 100 miliardi di dollari solo in Capex, di cui Nvidia riceverebbe gran parte. Questo non accadrà mai, ovviamente, ma è un divertente esperimento mentale se presupponiamo che non vengano apportati miglioramenti al software o all’hardware. Abbiamo anche costi di inferenza utilizzando TPUv4 e v5 di Google modellati nella sezione abbonati, che sono piuttosto diversi. Disponiamo anche di alcuni dati relativi al miglioramento delle prestazioni di inferenza H100 LLM.
Tratto da: https://www.semianalysis.com/p/the-inference-cost-of-search-disruption
Le opinioni espresse in questo articolo sono dell’autore.
Leggi le ultime news su: https://w3b.today
Può interessarti anche: Gli studenti del MIT hanno dimostrato che un terrorista può progettare armi biologiche con l’AI
Seguici su Telegram https://t.me/presskit
Seguici su Facebook https://www.facebook.com/presskit.it
