计算机孟灿｜ChatGPT训练及多场景推理成本测算

金选·核心观点

行业观点

2023年3月1日，OpenAI宣布开发者可通过API将ChatGPT和Wisper模型集成到他们的应用程序和产品中。本次ChatGPT API接入的模型名为GPT-3.5-turbo，只需0.2美分/千 Tokens。本文尝试测算训练和不同推理场景之下的实际成本；未来随着模型压缩的持续发展，推理成本可能进一步降低，也有望大幅推动生成式模型在各个场景的大规模商用。我们的成本估算思路是：计算AI模型在进行训练与推理时所需的浮点运算次数，与AI算力集群的平均算力 (以每秒浮点运算次数计) 做比，以此估算AI模型的训练成本与推理成本。

在通用大模型训练方面，经测算，使用云计算时ChatGPT的训练成本约为170万美元，若自建AI算力中心进行模型训练，训练成本有望降至约51万美元；在大模型推理方面，使用云计算时的ChatGPT每处理1,000Tokens信息需花费约0.177美分，自建AI算力中心有望将成本降至0.053美分。

不同应用场景中AI模型面临的任务复杂度有所不同，我们考虑模型缓存命中率、计算集群闲置率、模型压缩等因素，综合估算各典型场景下模型的推理成本：1）搜索引擎场景中，以新版Bing为例，完成一次搜索的成本约为1.73美分；2）办公软件融合ChatGPT后可支持文字生成、文字修改等功能，完成一次用户需求的成本约为1.70美分；3）AI客服作为对话场景应用，有望率先实现B端落地。经测算，AI客服场景解决一次用户需求的成本约为0.08美分。

未来随着模型压缩技术的持续发展，推理成本可能进一步降低，也有望大幅推动生成式模型在各个场景的大规模商用。

投资逻辑

我们认为有海外场景的公司有可能率先与GPT-3.5-turbo进行对接，建议关注福昕软件、万兴科技等海外营收占比较高的应用公司。

风险提示

海外基础软硬件使用受限；应用落地不及预期；行业竞争加剧风险。