前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >国产版的ChatGPT为何难产

国产版的ChatGPT为何难产

作者头像
木羊
发布2023-09-09 09:17:10
1170
发布2023-09-09 09:17:10
举报
文章被收录于专栏:睡前机器学习

ChatGPT很火,很多人也在分析为什么国内搞AI的大学这么多,没有一家搞出ChatGPT。网上把技术账算得差不多了,这里我想算算经济账。问题核心在于:假设国内大学有能力造ChatGPT,那么,有足够资金造吗?

先说一个观点:深度学习不仅需要技术,还需要氪金。

训练一套ChatGPT需要多少钱呢?ChatGPT是基于GPT-3.5打造的,相关数据还没有,但是GPT-3的数据是有的,训练一次的费用是460万刀,总训练成本1200万刀。

这里注意两点,第一,单位是“刀”,到了。第二,这里只是总训练成本,运行要不要成本呢?要,而且很高。模型运行也是要跑高性能GPU的,有个流传很广的估算,ChatGPT每条回复花费1美元,每月至少300万美刀。注意单位,是刀,到了。这个估算有人说多了也有人说少了,不管怎样,OpenAI这几天有点要爆单了多半是真的。

为什么这么贵,我写过一篇开玩笑的文章:

怎样劝退深度学习的坑

好了,回到我们大学,如果有人有技术,国内大学能搞出ChatGPT么?科研领域,钱不是问题,问题是没有钱。这是一道很容易被忽视,但经常实实在在绊倒很多项目的门槛。

我看过好几篇开创性的论文,人家开篇就说,我这个方法其实不是开创性的,前面有人做过,但效果不好,因为模型不够大,数据又太小,没办法触发“Emergent Abilities”。解决方法很简单,两个字“重氪”。

有人会说,我们大学一年的科研总经费多少,这点钱怎么也是能挤出来的。

没错,而且有数据支持。2022年我国科研经费支付将超过3万亿,就算单位换算成刀,怎么也是能罩住的。但是,这些经费分散到了全国这么多领域的这么多的项目组,又能分到多少?

特别是,这个很多人暗暗分类为“智能玩具”的项目,又能申请到其中的多少呢?

本文参与 腾讯云自媒体同步曝光计划,分享自微信公众号。
原始发表:2023-01-13,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 睡前机器学习 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档