谷歌Gemini被曝视频造假 多模态视频是剪辑配音

DoNews12月8日消息，谷歌7日凌晨终于发布双子座 Gemini 大模型，声称 MMLU 多任务语言理解数据集测试，Gemini Ultra 不光超越 GPT-4，甚至超越了人类专家。

然而有眼尖的网友发现，在谷歌所给的图片中，MMLU 测试中，Gemini 结果下面灰色小字标称 CoT@32，展开来代表使用了思维链提示技巧、尝试了 32 次选最好结果。

而作为对比的 GPT-4，却是无提示词技巧给 5 个示例，这个标准下 Gemini Ultra 其实并不如 GPT-4。以及原图比例尺也有点不厚道了，90.0% 与人类基准 89.8% 明明只差一点，y 轴上却拉开很远。

HuggingFace 技术主管 Philipp Schmid 用技术报告中披露的数据修复了这张图，这样展示更公平恰当：

不仅如此，Gemini 在发布时，谷歌给出的一系列 Demo 中最令人眼花缭乱的部分是伪造的。

名为《Hands-on with Gemini: Interacting with multimodal AI》的视频现在的播放量已经有 140 万次，其中展示了谷歌认为自己「最喜欢的与 Gemini 的交互案例」，展示了多模态模型（即它理解并混合语言和视觉理解）如何灵活地响应各种输入。