首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

谷歌用双子座Gemini“愚弄”了所有人,并没有真正击败 GPT-4

谷歌似乎很绝望。在宣布在今年秋天推出双子座后,谷歌未能兑现其承诺。现在,双子座在年底突然推出,这表明谷歌不想被抛在后面。它似乎是在压力下采取行动的,当时OpenAI和Microsoft等其他参与者正在推出新产品。

在谷歌发布的三款 Gemini 模型中,Gemini Ultra 在各种基准测试中的表现都优于 OpenAI 的 GPT-4,包括 MMLU——这是一个用于评估语言模型在从 STEM 到社会科学和人文科学等一系列学科中的能力的关键指标。

如果深入研究 Gemini 的技术报告,我们会发现在 MMLU 基准测试中,Gemini Ultra 的表现优于 GPT-4 和 GPT-3.5。然而,故事的转折点在于,谷歌巧妙地采用了 COT@32 而不是 5 次学习来增强 Gemini 的感知性能。

深入研究 MMLU Gemini Beat——Gemini 并没有真正击败 GPT-4。当我们在 MMLU 基准上评估任何大型语言模型 (LLM) 时,我们通常采用 5 次学习,“Abacus AI 的创始人 Bindu Reddy 指出。

谷歌通过演示视频展示了 Gemini Ultra 的多模态功能。然而,后来发现该视频是上演的。

谷歌上传的六分钟视频引导我们通过各种例子,在这些例子中,双子座进行流畅的对话,回答查询和参与活动,例如与人玩石头剪刀布等游戏。

在演示中,似乎一切都在实时发生,Gemini 能够快速做出反应。相反,该视频的 Youtube 描述是:“出于此演示的目的,延迟已减少,为简洁起见,Gemini 输出已缩短。

实际上,演示不是实时进行的,也不是通过语音交互进行的。当彭博社就该视频与谷歌联系时,一位发言人解释说,它是“使用镜头中的静止图像帧,并通过文本提示”创建的。简单地说,他们首先给Gemini提供图片,然后他们编写文本提示来获得输出。

然而,Gemini Ultra 还没有出来。谁知道呢,到明年问世时,它实际上可能比 GPT-4 更好。谷歌只能希望 OpenAI 届时不会发布 GPT-5。

  • 发表于:
  • 原文链接https://page.om.qq.com/page/OloVFb0RV2SMP1aMhWwVDl6Q0
  • 腾讯「腾讯云开发者社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。
  • 如有侵权,请联系 cloudcommunity@tencent.com 删除。

相关快讯

扫码

添加站长 进交流群

领取专属 10元无门槛券

私享最新 技术干货

扫码加入开发者社群
领券