首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

陆奇:OpenAI 未来 2-3 年要做的是使模型更稀疏,降低对带宽要求

据腾讯新闻《潜望》报道,4 月 22 日,奇绩创坛创始人兼 CEO 陆奇在上海举行小规模演讲,涵盖他对大模型时代的宏观思考。他表示,OpenAI 未来 2-3 年要做的——模型更稀疏一点,现在它对带宽要求实在太高,要把 attention Windows 拉长一点,或者是 recursion causality 推理的功能,包括 brainstorming 等一些工作要做。还需要做一些 grounding(基础训练)的东西,包括亚符号、子概念,更多的模态,更多的 token 空间,更多的模型稳定性,更多的潜在空间(例如 Latent Space 对齐),更多的计算,以及更多的基础架构工具。

现在 OpenAI 核心做的是,把推进速度变慢,每推进新版本,都有足够时间让用户给他们足够反馈,找到潜在风险点,有足够时间弥补。

  • 发表于:
  • 原文链接https://kuaibao.qq.com/s/20230424A02VTD00?refer=cp_1026
  • 腾讯「腾讯云开发者社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。
  • 如有侵权,请联系 cloudcommunity@tencent.com 删除。

相关快讯

扫码

添加站长 进交流群

领取专属 10元无门槛券

私享最新 技术干货

扫码加入开发者社群
领券