ChatGPT对算力的消耗有多大？

? ? ? ?ChatGPT“越来越聪明”的背后，需要庞大的费用支撑。其中，算力成本是最重要的，也是最不能偷工减料的一部分。

　 　ChatGPT对算力的消耗可以分为三个主要场景：

　　一是模型预训练过程，这是ChatGPT消耗算力的最主要场景。

　　ChatGPT采用预训练语言模型，在Transformer的模型架构下，语言预训练过程可以根据上下文一次处理所有输入，实现大规模并行计算。

　　通过堆叠多个解码模块，模型的层数规模也会随着提升，可承载的参数量同步增长。与之相对应的，模型训练所需要消耗的算力也就越大。

　　据OpenAI团队发表于2020年的论文《Language Models are Few-Shot Learners》，训练一次1746亿参数的 GPT-3模型需要的算力约为3640 PFlop/s-day。

　　即假如每秒计算一千万亿次，也需要计算3640天。

　　考虑到ChatGPT训练所用的模型是基于GPT-3.5模型微调而来，GPT-3.5模型增加了参数量和训练样本量，包含超过1746亿个参数，那么预估训练一次ChatGPT所需算力至少需要约3640 PFlop/s-day的算力。

　　东吴证券研报分析认为，ChatGPT的优化主要来自模型的增大，以及因此带来的算力增加。

　　GPT、GPT-2和GPT-3的参数量从1.17亿增加到1750亿，预训练数据量从5GB增加到45TB，其中GPT-3训练单次的成本就高达460万美元。

　　同时，模型开发过程很难一次取得成功，整个开发阶段可能需要进行多次预训练过程，因此对于算力的需求是持续的。

　　此外，从基础大模型向特定场景迁移的过程，如基于ChatGPT构建医疗AI大模型，需要使用特定领域数据进行模型二次训练，同样会增加训练算力需求。

　　二是模型迭代过程。

　　从模型迭代的角度来看，ChatGPT模型并不是静态的，而是需要不断进行模型调优，以确保模型处于最佳应用状态。

　　这一过程中，一方面是需要开发者对模型参数进行调整，确保输出内容不是有害和失真的;另一方面，需要基于用户反馈和PPO策略，对模型进行大规模或小规模的迭代训练。

　　因此，模型调优同样会为ChatGPT带来算力成本，具体算力需求和成本金额取决于模型的迭代速度。

　　三是日常运营过程。

　　在日常运营过程中，用户交互带来的数据处理需求同样也是一笔不小的算力开支。考虑到ChatGPT面向全球大众用户，用的人越多，带宽消耗越大，服务器成本只会更高。

　　据SimilarWeb数据，2023年1月ChatGPT官网总访问量为6.16亿次。

　　据Fortune杂志，每次用户与ChatGPT互动，产生的算力云服务成本约0.01美元。

　　基于此，ChatGPT单月运营对应成本约616万美元。

　　据上文，我们已知训练一次1746亿参数的GPT-3模型需要3640 PFlop/s-day的算力及460万美元的成本，假设单位算力成本固定，测算ChatGPT单月运营所需算力约 4874.4PFlop/s-day。

　　直观对比，如果使用总投资30.2亿、算力500P的数据中心来支撑ChatGPT的运行，至少需要7-8个这样的数据中心，基础设施的投入都是以百亿记的。

　　当然，基础设施可以通过租用的方式来解决，但算力需求带来的本压力依然巨大。

　　随着国内外厂商相继入局研发类似大模型，将进一步加大对算力的需求。