【打脸OpenAI来的如此之快，马斯克AI大模型Grok开源，参数量近Llama四倍】

今天凌晨，马斯克xAI的Grok，果然如期开源了.....

此次xAI正式发布了3140亿参数混合专家模型Grok-1的权重和架构。这也使得Grok-1成为当前参数量最大的开源大语言模型。

根据介绍，Grok 的架构是在2023年10月使用自定义训练堆栈在 JAX 和 Rust 上开发的，采用了创新的神经网络设计方法。

而Andrew Kean Gao将 Grok-1 与其他开源模型参数量进行了对比，Grok-1 是 Llama-65B 的4倍多。

对此，小扎刚刚也对Grok做出了评价，「并没有给人留下真正深刻的印象，3140亿参数太多了，你需要一堆H100，不过我已经买下了」。

此外，马斯克还不忘嘲讽OpenAI一番，「告诉我们更多关于OpenAI的「open」部分...」