ChatGPT 近期蓝图曝光，2024 年公开多模块功能

HumanLoop创办人Raza Habib近日表示，上周他与Sam Altman及20位开发者举行闭门讨论，透露不少OpenAI预定开发内容。

HumanLoop创办人Raza Habib近日表示，上周他与Sam Altman及20位开发者举行闭门讨论，透露不少OpenAI预定开发内容。

1. OpenAI严重受限于GPU

讨论常出现的主题是，OpenAI的GPU非常有限，拖累许多短期计划，客户最大抱怨是API可靠性和速度。 Sam承认颇为担心这点，解释大部分问题都是缺少GPU的结果。

32K上下文还不能大力推广，OpenAI还未克服O（n^2）注意力扩展，所以虽然很快就会有10万至百万token上下文窗口（今年），但更大行动都要研究如何突破。

微调API也受GPU瓶颈限制，还未有有效微调法，微调执行和管理非常需要计算密集。 之后会提供更佳微调支持，甚至可能主持社区贡献模型的市场。 专用容量产品受GPU可用性限制，OpenAI还有专用容量，提供模型私人副本。 要存取此服务，客户必须预付10万美元。

2. OpenAI近期蓝图

Sam分享OpenAI的API近期蓝图。

2023年

更便宜更快的GPT-4：这是首要任务。 OpenAI目标是尽可能降低「智能成本」，因此时间过去，会努力继续降低API成本。

更长上下文：之后上下文可能高达100万个token。

Finetuning API：微调API将扩展到最新模型，但方式取决于开发人员真正想要的东西。

有状态的API：调用聊天API时，必须反复传递相同对话历史并一次次为相同token付费，之后会有能记录对话历史的API版。

2024年

多模块：GPT-4版发布时展示过，但更多GPU上线前不能扩展至所有用户。

3. 插件不会很快出现

许多开发人员对用API访问ChatGPT插件很感兴趣，但Sam表示插件不会很快公布。 除了浏览，用插件代表还没有PMF，他说很多人想将自家应用置入ChatGPT，但真正想要的是将ChatGPT嵌入自家应用程序。

4. OpenAI会避免与客户竞争

不少开发人员表示，OpenAI可能发表有竞争力的产品时，对用OpenAI API构建感到紧张。 Sam说OpenAI不会发布ChatGPT以外产品，伟大的平台拥有杀手级应用程序历史由来已久，ChatGPT致力使大众成为客户以改善API。 ChatGPT愿景是成为超级智能助理，因还有许多OpenAI不会碰到的GPT用法。

5. 需要监管，但也要开源

虽然Sam呼吁监管AI，但他认为现在模型并不危险，监管或禁止将是大错误。 他重申开源重要性理念，表示OpenAI正在考虑开源GPT-3，未开源部分原因是他怀疑有多少个人和公司有能力托管和提供大型LLMs。

6. 模型性能扩展定律有效

最近有很多文章称「巨型AI模型的时代已结束」，这不算准确。

OpenAI数据显示，模型性能扩展定律继续有效，使模型继续产生性能。 无法保持扩展速度，因OpenAI短短几年使模型长大数百万倍，这样虽不能持续，但不代表OpenAI不会扩大模型，只是改成每年增加一或三倍，而不是一下扩大十几倍。

模型继续扩展对AGI开发时间表有重大影响，缩放假设是，可能具备构建AGI所需大部分，且其余工作将采现有方法并扩展到更大模型和更大数据库，如果缩放时代过去，AGI可能会离我们更远，缩放定律会成立这件事代表时间表会缩短。