Grok开源来看看怎么用吧

3月11日，埃隆·马斯克承诺，他的公司 xAI 会把 AI 聊天机器人 Grok 开源给大家，现在，这承诺已经兑现了。

今天凌晨，马斯克的 xAI 宣布，他们的巨型模型 Grok-1 ——一个拥有 3140 亿参数量的混合专家（MoE）模型，连同模型的权重和网络架构，现已全面开源。

这一动作，也让 Grok-1 成为了目前世界上参数量最大的开源大语言模型。

什么是 Grok?

Grok 是一个庞大的语言模型，拥有 3140 亿个参数，使其成为目前可用的最大的开源模型。作为对比，这是 OpenAI 2020年发布的被视为突破的 GPT-3 大小的两倍多。

Langchain 的 @Andrew Kean Gao 分享的图表中，你可以看到 Grok 的大小与其竞争对手相比有多么庞大。

但 Grok 不仅仅体量巨大，它还采用了专家混合 (MoE) 架构，允许它为不同任务策略性地激活其参数的子集。这理论上使它比传统的密集模型更高效和适应性强。

Grok-1 发布摘要

• 3140亿参数的专家混合模型，给定 Token 时有25%的权重处于激活状态
• 基础模型训练了大量文本数据，未针对任何特定任务进行微调
• 8个专家（2个激活）
• 860亿参数
• Apache 2.0 许可证
• 博客：https://x.ai/blog/grok-os
• 代码：https://github.com/xai-org/grok-1

虽然有很多细节值得探讨，但首先记住这 5 个要点：

1. Grok是到目前为止最大的开源大语言模型（LLM），使用了接近3140亿的参数量，这在所谓的“开源”模型中是前所未有的（可能也是最大的）。它很可能采用了与GPT-4相似的专家混合（MoE）结构。
2. 但请注意，这只是一个基础模型。也就是说，按照目前发布的状态，它还不能直接应用于特定的任务或对话场景。没有进一步的调整，它还不能发挥作用。因此，要想将其用作类似ChatGPT的工具，还需要进行一定的“调整”和“微调”。
3. 模型的检查点定在2023年10月，它没有针对任何特定应用（比如对话）进行优化。其发布遵循Apache 2.0许可，这意味着其他公司也可以在Grok-1的基础上发布改进版或衍生产品…… 这真是令人兴奋！
4. 同时，虽然人们对此感到兴奋，但我们也必须警惕潜在的隐患。 随着这种新AI的问世，安全威胁无疑会增加。例如：
   1. • 存在通过查询如何制造网络武器、炸弹或其他危害性物品的未授权使用风险 => 受控AI如何应对？
      • 多个开发者将发布他们版本的LLM => 标准化API缺失和使用复杂度上升的问题如何解决？
      • 出现多种版本，可能会偏离原始目标 => 这种“飞速进步”会导致许多现有服务突然变得过时吗？
5. 架构的细节虽然引人入胜，但过于技术化了……在此我不展开（如果你感兴趣，我们可以另行讨论）。但要知道，如果你没有高端的设备（比赛级电脑或高性能服务器），你将无法运行Grok！

如何安装 Grok

在这个 GitHub 仓库中解释了如何加载和运行 Grok-1 的指南。

克隆仓库到你的本地，开玩吧。

可以使用 torrent 客户端和此磁力链接下载权重：

magnet:?xt=urn:btih:5f96d43576e3d386c9ba65b883210a393b68210e&tr=https%3A%2F%2Facademictorrents.com%2Fannounce.php&tr=udp%3A%2F%2Ftracker.coppersurfer.tk%3A6969&tr=udp%3A%2F%2Ftracker.opentrackr.org%3A1337%2Fannounce

顺便说一句，有些人质疑为什么权重是通过 Bittorrent 磁力链接发布的。随着模型越来越大，这可能成为未来的常态。此外，通过 torrent 分发300 GB 数据比直接传输更便宜。

或从 HuggingFace 下载权重，并将其放置在“checkpoints”目录内。

打开命令行界面并运行以下命令来测试代码：

pip install -r requirements.txtpython run.py

需要注意的是，由于 Grok-1 模型的庞大体量——包含 3140 亿个参数，测试模型所使用的示例代码需要一台具有足够 GPU 内存的机器。

xAI 仓库中专家混合 (MoE) 层的当前实现未针对效率进行优化。这种实现是故意选择的，优先考虑模型正确性验证，避免开发自定义内核的需要。

如何尝试 Grok

如果你只是好奇 Grok 能做什么，它目前在 X 上可用，但仅对 Premium+ 用户开放，价格为每月16美元。

Grok-1 开源许可

本次发布的代码和相关 Grok-1 权重根据 Apache 2.0 许可证授权。

Apache 2.0 许可证是一种宽松的免费软件许可证。该许可证允许对软件进行任何目的的使用，用户能够分发它、修改它，并分发软件的修改版本。

该许可证仅适用于此仓库中的源文件和 Grok-1 的模型权重。

就在之前，马斯克起诉 OpenAI 及其联合创始人 Sam Altman 和 Greg Brockman，指控他们背离了最初成立为非营利组织的使命，转而追求利润。

也有网友调侃，OpenAI 一点都不 Open。

Grok = OpenSource OpenAI = Closed Source

参考链接：

https://x.com/_SaxX_/status/1769593547349467288?s=20

https://x.com/itsandrewgao/status/1769454405852807432?s=20