Sam Altman最新透露：OpenAI面临的挑战与未来发展方向

导语

上周Humanloop CEO Raza Habib有幸与Sam Altman和其他20位开发人员坐下来，讨论OpenAI的API和他们的产品计划。Sam非常坦诚。讨论涉及到开发者实际问题以及与OpenAI的使命和AI的社会影响相关的更大的问题。以下是主要的关键点：

目前OpenAI严重依赖GPU

在整个讨论中，一个常见的主题是，目前OpenAI极度依赖GPU，这已经推迟了他们许多短期计划。最大的客户抱怨是关于API的可靠性和速度。Sam承认了他们的担忧，并解释说，大部分问题是由于GPU短缺引起的。

更长的32k上下文还不能推广给更多人。OpenAI尚未克服O(n^2)的关注度规模，因此虽然他们可能很快就会有100k - 1M个标记的上下文窗口（今年），但任何更大的窗口都需要一个研究突破。

微调API也被GPU可用性限制。他们尚未使用如Adapters或LoRa等高效的微调方法，因此微调运行和管理都非常耗费计算资源。未来会有更好的微调支持。他们甚至可能主办一个由社区贡献模型的市场。

专用容量供应受到GPU可用性的限制。OpenAI还提供专用容量，这为客户提供了模型的私人副本。要使用此服务，客户必须愿意提前承诺花费10万美元。

OpenAI的短期路线图

2023年：

更便宜、更快的GPT-4——这是他们的首要任务。总体来说，OpenAI的目标是将"智能的成本"降低到最低，因此他们将努力继续降低API的成本。

更长的上下文窗口——在不久的将来，高达一百万个tokens的上下文窗口是可能的。

微调API——微调API将扩展到最新的模型，但其具体形式将由开发人员表明他们真正想要的。

有状态的API（A stateful API）——当你今天调用聊天API时，你必须反复传递同样的对话历史并再次支付相同的tokens费用。未来的API版本将记住对话历史。

2024年：

多模态性——这是作为GPT-4发布的一部分进行演示的，但无法在更多的GPU上线后扩展到所有人。

Plugin"没有实现PMF"，可能不会很快出现在API上

许多开发人员对通过API在外部调用ChatGPT Plugin感兴趣，但Sam说他认为他们不会很快发布这一功能。就Plugin目前的使用情况，除了browsing功能之外，其他的使用情况表明它们还没有达到PMF。他说很多人以为他们想要的是应用程序在ChatGPT内被使用，但实际上人们真正想要的是他们自己的应用程序中有ChatGPT的能力。

OpenAI会避免与他们的客户竞争——除了ChatGPT

很多开发者表示，他们担心使用OpenAI的API构建应用，因为OpenAI可能发布与他们竞争的产品的时候。但Sam说，OpenAI不会发布除了ChatGPT以外的更多产品。他说，一个伟大的平台公司会有一个杀手级应用，而ChatGPT将允许他们通过成为自己产品的客户来提高API的质量。ChatGPT的愿景是成为工作中的超级智能助手，但OpenAI不会触及到更多其他GPT的用例。

需要监管，但也需要开源

尽管Sam正在呼吁对未来模型进行监管，但他不认为现有模型是危险的，认为对它们进行监管或禁止是一个大错误。他重申了他对开源的重要性，并表示OpenAI正在考虑开源GPT-3。他们尚未开源的部分原因是他对有多少个人和公司有能力托管和提供大模型表示怀疑。

缩放法则（Scaling laws）仍然有效

最近有许多文章声称“大模型的时代已经结束”。这并不准确地反映了原意。

OpenAI的内部数据表明，模型性能的缩放法则仍然有效，使模型变大将继续产生性能。缩放率的确不能维持，因为OpenAI在短短几年内已经将模型扩大了数百万倍，未来继续这样做是不可持续的。这并不意味着OpenAI不会继续尝试使模型变大，只是意味着他们可能每年只会增加一倍或两倍，而不是增加许多个数量级。

缩放继续有效的事实对AGI开发时间线有重要影响。缩放假设是我们可能已经拥有构建AGI所需的大部分部件，而剩下的大部分工作将是将现有方法扩大到更大的模型和更大的数据集。如果缩放的时代结束了，我们可能应该预期AGI还有很长的路要走。缩放法则继续有效强烈地表明了实现AGI的时间线较短。