马斯克开源3140亿参数大语言模型grok

马斯克说若OpenAI更名为closeAI，其针对OpenAI的起诉讲会被撤销。很是显然马斯克针对OpenAI的创业的初衷有一定的质疑。但是无论如何OpenAI也无法更名为为close AI，其公司下的ChatGPT以及文生视频大模型Sora也不会开源。但是随着马斯克旗下公司xAI大模型的成功，其马斯克也兑现了自己开源的承诺，把3140亿参数的grok模型进行了开源。

Grok 动力引擎便是grok-1模型，此模型拥有3140亿个训练参数。而GPT-3模型的参数是1750亿参数，差不多1.8倍左右。Grok-1 是一个由 xAI 从头开始​训练的 3140 亿参数混合专家模型。Grok-1 预训练阶段在 2023 年 10 月结束，这意味着该模型没有针对任何特定应用（例如对话）进行微调。grok在 Apache 2.0 许可下发布权重和架构

其模型是基于transformer的混合专家MoE模型。模型输入此表128*1024，输入序列长度为8192，embedding尺寸为48*128，多头注意力机制头数为48，一共有64层的解码器层，使用了8个专家模型，在选择专家模型时，使用2个专家进行结果的输出。#动图详解Transformer