马斯克开源Grok-1！3140亿参数迄今最大！远高于 ChatGPT3.5

刚刚，马斯克（Elon Musk）真的实现了他的承诺——把大模型Grok-1开源了！

北京时间3月18日早上，马斯克旗下 AI 初创公司 xAI 宣布，其研发的大模型Grok-1其大语言模型Grok-1已实现开源，并向公众开放下载。感兴趣的用户可通过访问GitHub页面github.com/xai-org/grok来使用该模型。

Grok-1是拥有3140亿参数构成的混合专家模型，其中25%的参数能够针对特定的数据单元（Token）激活。远远高于ChatGPT 3.5 模型参数大小（一般认为是1750 亿)。

xAI 表示，开源的 Grok-1 是 2023 年 10 月结束的预训练阶段的原始基础模型检查点。这意味着该模型不会针对任何特定应用（例如对话和对话）进行微调。GitHub 上提供了权重和体系结构，以及模型入门说明。

该模型在成立后仅 3 个月内就由 xAI 从头开始训练。与一些具有使用限制的开源版本（例如 Gemma 和 Llama）不同，Grok 的开源版本提供了对底层技术的广泛访问。但是，它无法实现 Pythia、Bloom 和 OLMo 等模型提供的完全透明性，其中包括训练代码和用于训练模型的数据集。

要下载该模型，用户可以访问大约 300GB 并包含 773 个文件的 torrent 文件的磁力链接：

magnet:?xt=urn:btih:5f96d43576e3d386c9ba65b883210a393b68210e&tr=https%3A%2F%2Facademictorrents.com%2Fannounce.php&tr=udp%3A%2F%2Ftracker.coppersurfer.tk%3A6969&tr=udp%3A%2F%2Ftracker.opentrackr.org%3A1337%2Fannounce

此次发布正值马斯克和 OpenAI 之间的紧张关系日益紧张之际。马斯克因担心 OpenAI 将利润置于安全之上而于 2018 年离开，他对公司的批评越来越直言不讳。他最近对 OpenAI 提起诉讼，声称该公司背弃了其创建开源模式以支持股东优先的承诺。

马斯克还对包括谷歌在内的其他人工智能公司持批评态度。他最近批评了谷歌的 Gemini AI 图像生成器，因为它产生了历史上不准确和误导性的种族内容。

Grok-1 的发布是马斯克去年 3 月推出的 xAI 的重要一步。该公司的首款产品 Grok 聊天机器人于 11 月发布，并在 X（以前称为 Twitter）上向付费订阅者开放。马斯克声称该聊天机器人“旨在用一点智慧来回答问题，并且具有叛逆性。”

随着人工智能领域的快速发展，像Grok-1这样的模型的开源可能会产生重大影响（尽管运行该模型需要大量的计算资源）。虽然这肯定是对 OpenAI 的直接抨击，但看看 AI 社区如何回应这个版本，以及它如何影响围绕 AI 技术负责任开发和部署的持续辩论，这将是一件有趣的事情。