“言出必行”马斯克，全球最大开源模型Grok真的来了

刚刚开源的 Grok，一举拿下迄今为止“全球最大开源模型”称号。

马斯克又搞了个全球第一。

Grok开源

美东时间3月17日， xAI 正式宣布开源大模型Grok-1的权重和网络架构。

xAI 表示，开源版大模型Grok-1是一个由 xAI 从头开始​​训练的 3140 亿个参数混合专家模型。

据介绍，基础模型基于大量文本数据进行训练，没有针对任何具体任务进行微调；3140 亿参数的 MoE 模型，在给定 token 上的激活权重为 25%；2023 年 10 月，xAI 使用 JAX 库和 Rust 语言组成的自定义训练堆栈从头开始训练。

目前，Grok-1是参数量最大的开源大语言模型。

拥有 3140 亿个参数的Grok ，远远领先于Meta 的 Llama 2（700 亿个参数）和Mistral 8x7B（120 亿个参数）等开源竞争对手。

去年，马斯克加入AI竞赛“混战”，在火速成立了大模型公司 xAI 之后，Grok随后横空出世，势与OpenAI一较高低。

彼时， xAI 介绍称Grok是以《银河系漫游指南》为蓝本的人工智能，它几乎可以回答任何问题，帮助人类寻求理解和知识——无论背景或政治观点如何。

起初， xAI 发布了一个 LLM 原型 Grok-0，拥有 330 亿个参数，然后又发布了 Grok-1，并经历了多次迭代。

在 xAI的 GSM8K、HumanEval 和 MMLU 等基准测试中，Grok-1 击败了 Llama-2-70B 和 GPT-3.5，但仍然落后于 GPT-4。

但此前，Grok只能 通过 X Premium+ 付费订阅服务上访问，服务费用每月16美元或每年168美元。

对打OpenAI？

一直以来，和OpenAI杠上的马斯克在围绕“开源”的问题上争论不休。

最近，马斯克一纸诉状将OpenAI告上法庭

，指责其放弃了“创始协议”；但 OpenAI则指出马斯克是在捏造事实，目的是为了“促进他自己的商业利益”。

在开源和非盈利的问题上，双方吵的不可开交。马斯克眼看着“杀红了眼”，随即便宣布了要开源 Grok 大模型，并宣称“OpenAI 是一个谎言。”

Grok 在宣布开源之后，ChatGPT 账户评论说，“偷了我的整个笑话”。

马斯克则不忘嘲讽一番OpenAI 表示：我们想了解更多 OpenAI 的开放部分。

现在，xAI 遵守 Apache 2.0 许可证来开源 Grok-1 的权重和架构。Apache 2.0 许可证允许用户自由地使用、修改和分发软件，无论是个人还是商业用途。

截至目前，Grok 已经在 GitHub 上获得了 4.3k 颗 Star。

英伟达高级科学家Jim Fan表示，（这是）有史以来最大的开源大模型，由世界一流的团队训练。

“我想知道被 Grok 超越是什么感觉。”“314B、混合专家 (2 / 8 有效)。即使仅活动参数 (86B) 就超过了最大的 Llama。迫不及待地想看到基准测试结果以及人们用它构建的东西。”