近兩個月來，全世界的網(wǎng)友們都在興致勃勃的“調(diào)教”ChatGPT，但第一個受不了的卻是ChatGPT的所有者。

為了更長遠的發(fā)展，OpenAI宣布了付費訂閱版ChatGPT Plus，每月收費20美元。

雖然OpenAI表示，將持續(xù)提供免費版，并且收費項目也將更好的“幫助盡可能多的人使用免費服務”。但是《紐約時報》也指出“在高峰時段，免費版訪問人數(shù)將受到限制。”

顯然，收費會是ChatGPT這類AI服務長久發(fā)展的必然選擇。

究其根源，在于ChatGPT“越來越聰明”的背后，需要龐大的費用支撐。其中，算力成本是最重要的，也是最不能偷工減料的一部分。

那么，ChatGPT到底需要多少算力來支撐？

“吞金獸”ChatGPT的

算力消耗

ChatGPT對算力的消耗可以分為三個主要場景：

一是模型預訓練過程，這是ChatGPT消耗算力的最主要場景。

ChatGPT采用預訓練語言模型，在Transformer的模型架構(gòu)下，語言預訓練過程可以根據(jù)上下文一次處理所有輸入，實現(xiàn)大規(guī)模并行計算。

通過堆疊多個解碼模塊，模型的層數(shù)規(guī)模也會隨著提升，可承載的參數(shù)量同步增長。與之相對應的，模型訓練所需要消耗的算力也就越大。

據(jù)OpenAI團隊發(fā)表于2020年的論文《Language Models are Few-Shot Learners》，訓練一次1746億參數(shù)的GPT-3模型需要的算力約為3640 PFlop/s-day。

即假如每秒計算一千萬億次，也需要計算3640天。

考慮到ChatGPT訓練所用的模型是基于GPT-3.5模型微調(diào)而來，GPT-3.5模型增加了參數(shù)量和訓練樣本量，包含超過1746億個參數(shù)，那么預估訓練一次ChatGPT所需算力至少需要約3640 PFlop/s-day的算力。

東吳證券研報分析認為，ChatGPT的優(yōu)化主要來自模型的增大，以及因此帶來的算力增加。

GPT、GPT-2和GPT-3的參數(shù)量從1.17億增加到1750億，預訓練數(shù)據(jù)量從5GB增加到45TB，其中GPT-3訓練單次的成本就高達460萬美元。

同時，模型開發(fā)過程很難一次取得成功，整個開發(fā)階段可能需要進行多次預訓練過程，因此對于算力的需求是持續(xù)的。

此外，從基礎(chǔ)大模型向特定場景遷移的過程，如基于ChatGPT構(gòu)建醫(yī)療AI大模型，需要使用特定領(lǐng)域數(shù)據(jù)進行模型二次訓練，同樣會增加訓練算力需求。

二是模型迭代過程。

從模型迭代的角度來看，ChatGPT模型并不是靜態(tài)的，而是需要不斷進行模型調(diào)優(yōu)，以確保模型處于最佳應用狀態(tài)。

這一過程中，一方面是需要開發(fā)者對模型參數(shù)進行調(diào)整，確保輸出內(nèi)容不是有害和失真的；另一方面，需要基于用戶反饋和PPO策略，對模型進行大規(guī)?；蛐∫?guī)模的迭代訓練。

因此，模型調(diào)優(yōu)同樣會為ChatGPT帶來算力成本，具體算力需求和成本金額取決于模型的迭代速度。

三是日常運營過程。

在日常運營過程中，用戶交互帶來的數(shù)據(jù)處理需求同樣也是一筆不小的算力開支?？紤]到ChatGPT面向全球大眾用戶，用的人越多，帶寬消耗越大，服務器成本只會更高。

據(jù)SimilarWeb數(shù)據(jù)，2023年1月ChatGPT官網(wǎng)總訪問量為6.16億次。

據(jù)Fortune雜志，每次用戶與ChatGPT互動，產(chǎn)生的算力云服務成本約0.01美元。

基于此，ChatGPT單月運營對應成本約616萬美元。

據(jù)上文，我們已知訓練一次1746億參數(shù)的GPT-3模型需要3640 PFlop/s-day的算力及460萬美元的成本，假設單位算力成本固定，測算ChatGPT單月運營所需算力約4874.4PFlop/s-day。

直觀對比，如果使用