首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

大家都在吐槽GPT-4变「笨」了,可能是架构重新设计惹的祸

机器之心报道

编辑:陈萍、小舟

根据广大网友的反馈,GPT-4 好像真的变笨了。

距离 OpenAI 最初发布 GPT-4 已经过去差不多 4 个月的时间了。然而,随着时间的推移,近期,网上开始出现了一些质疑声,他们认为世界上最强大的 GPT-4 变得不那么强大了。

有些业内人士认为,这可能和 OpenAI 对该系统的重大重新设计有关。

其实,最近几周,我们或多或少的在网上看到 GPT-4 的用户们对其性能下降怨声载道,有用户称这个模型与其先前的推理能力以及其他输出相比变得「懒惰(lazier)」和「愚笨(dumber)」。

不仅如此,在 Twitter 和 OpenAI 的在线开发者论坛的评论中,用户们表达了对这一问题的不满,例如 GPT-4 的逻辑能力减弱、错误回答增多、对提供的信息失去追踪能力……

GPT-4 到底变得如何了,我们看看网友反馈。

GPT-4「变笨」,抱怨声不断

一位使用 GPT-4 进行网站开发的网友写道:「现在的 GPT-4 非常令人失望。那感觉就像你开了一个月的法拉利,它突然变成了一辆破旧的皮卡车。照这样下去,我不确定我是否愿意为此付费。」

还有用户表示:「我使用 ChatGPT 已经有一段时间了,自从 GPT-4 发布以来,我一直是 GPT Plus 的付费用户。过去几天里,GPT-4 似乎在之前做得很好的事情上遇到了困难。我在使用 GPT-4 时,过去,它似乎能很好地理解我的请求。现在,它对信息的追踪能力下降了,给我提供的信息有误,而且经常误解我的问题。」

Roblox 的产品负责人 Peter Yang 在 Twitter 上声称,GPT-4 的输出速度变快了,但输出质量却更差了。例如一些简单的问题,比如让它输出更清晰简洁、更有创意的文字任务上。GPT-4 给出的结果在我看来,质量下降了:

「GPT-4 开始一遍又一遍地循环输出代码和其他信息。与之前相比,它就像脑死亡了一样。如果你没有真正见识过它之前的能力,你可能不会注意到。但如果你之前充分使用了 GPT-4,你会明显感觉到它变得更愚蠢。」另一位用户抱怨道。

「我对 GPT-4 的反应质量也有同样的问题,有谁知道一种方法来排除或纠正这种情况?」

「我确实注意到了这一点。在一天中的某些时候,它似乎只记得最近的提示。但在一整天的使用中,GPT-4 性能似乎有波动,不同时间进行尝试,感觉性能不一样。」

通过网友的反馈,看来大家都感受到了 GPT-4 变笨的事实。

从前是又慢又贵,现在是快但不准确

去年年底,OpenAI 发布 ChatGPT 震惊整个 AI 界,最初 ChatGPT 运行在 GPT-3 和 GPT-3.5 之上。3 月中旬,GPT-4 发布,并迅速成为开发者和其他科技行业人士的首选模型。

GPT-4 被认为是广泛可用的最强大的 AI 模型,具备多模态功能,可以理解图像和文本输入。根据 Lamini 创业公司首席执行官 Sharon Zhou 的说法,它虽然慢但非常准确。

然而,几周前,情况开始发生转变,虽然 GPT-4 变得更快,但性能明显下降了,这引发了整个 AI 社区的讨论,根据 Sharon Zhou 和其他专家的说法,这意味着一个重大的变化正在进行中。

他们认为 OpenAI 正在创建几个较小的 GPT-4 模型,这些模型的功能类似于大型模型,但运行成本更低。

几天前 SemiAnalysis 发布的一篇付费订阅内容也谈到这一点。文中提到了 OpenAI 能够通过使用混合专家(MoE)模型来保持合理成本。他们在模型中使用了 16 个专家模型,每个专家模型大约有 111B 个参数。这些专家模型中的 2 个被路由到每个前向传递。

「这些较小的专家模型分别针对不同的任务和领域进行了训练。可能会有一个针对生物学的迷你 GPT-4,以及其他可用于物理学、化学等的小模型。当一个 GPT-4 用户提出问题时,新系统会知道将该查询发送给哪个专家模型。新系统可能会决定将查询发送给两个或多个专家模型,然后将结果合并起来。」Sharon Zhou 表示。

开发人员兼黑客 George Hotz 在最近的播客中描述了 GPT-4 是 8 路混合模型。

值得一提的是,艾伦人工智能研究所创始 CEO Oren Etzioni 在网络上看到这些信息后,给 Business Insider 发了一封电子邮件写道:「我『推测』这些猜测大致准确,但我没有证据。」

Oren Etzioni 认为:使用 MoE 方法主要是为了让生成式模型输出质量更高、成本更低、响应更快。

eEtzioni 补充道:「正确使用混合模型的确可以同时满足上述需求,但通常需要在成本和质量之间进行权衡。在这种情况下,有传闻称 OpenAI 正在牺牲一些质量来降低成本,但这只是传闻。」

实际上,2022 年 OpenAI 总裁 Greg Brockman 曾与几位同事共同撰写了一篇关于 MoE 方法的文章。

这篇文章中提到:「采用 MoE 方法,模型可以在不增加计算成本的情况下支持更多参数。」

Sharon Zhou 表示:「GPT-4 最近几周的性能下降很可能与训练和 OpenAI 推出的小型专家 GPT-4 模型有关。当用户测试它时,我们会问很多不同的问题。它不会回答得很好,但它会从我们那里收集数据,并且会改进和学习。」

终极「揭秘」:GPT-4 模型架构、训练成本、数据集信息都被扒出来了

https://www.businessinsider.com/openai-gpt4-ai-model-got-lazier-dumber-chatgpt-2023-7

  • 发表于:
  • 原文链接https://page.om.qq.com/page/OV-i7cqFrTDwjfkGG0p0hxLA0
  • 腾讯「腾讯云开发者社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。
  • 如有侵权,请联系 cloudcommunity@tencent.com 删除。

相关快讯

扫码

添加站长 进交流群

领取专属 10元无门槛券

私享最新 技术干货

扫码加入开发者社群
领券