Meta发布新模型Llama 4系列，首次使用“混合专家”架构

Meta 今日凌晨发布旗下最新Llama 4系列开源AI 模型，包含Llama 4 Scout、Llama 4 Maverick 和Llama 4 Behemoth。

Meta 表示，这些模型都经过了“大量未标注的文本、图像和视频数据”的训练，以使它们具备“广泛的视觉理解能力”。

“今天标志着原生多模态人工智能创新的新纪元的开启。我们推出了首批 Llama 4 模型：Llama 4 Scout 和 Llama 4 Maverick——这是我们迄今为止最先进的模型，也是多模态领域中同类最佳的模型。”

具体来看：

Llama 4 Scout

•  170 亿活跃参数模型，配备 16 个专家。

•  行业领先的上下文窗口，可处理 1000 万标记。

•  在广泛认可的多项基准测试中，表现优于 Gemma 3、Gemini 2.0 Flash-Lite 和 Mistral 3.1。

Llama 4 Maverick

•  170 亿活跃参数模型，配备 128 个专家。

•  在图像定位方面处于行业顶尖水平，能够将用户提示与相关的视觉概念对齐，并将模型响应锚定在图像的特定区域。

•  在广泛认可的多项基准测试中，表现优于 GPT-4o 和 Gemini 2.0 Flash。

•  在推理和编码方面，与 DeepSeek v3 取得了相当的结果，而活跃参数仅为后者的一半。

•  在性价比方面，其聊天版本在 LMArena 上的 ELO 得分为 1417。

Meta表示，这些模型之所以成为其迄今为止最好的模型，得益于从 Llama 4 Behemoth 中进行的知识蒸馏，而 Llama 4 Behemoth 是其迄今为止最强大的模型。Llama 4 Behemoth 仍在训练中，目前在专注于 STEM 的基准测试中，表现优于 GPT-4.5、Claude Sonnet 3.7 和 Gemini 2.0 Pro。

Llama 4 系列模型是该公司旗下首批采用混合专家（MoE）架构的模型，这种架构在训练和回答用户查询时的效率更高。

“混合专家架构”是将数据处理任务分解为子任务，然后将它们委派给更小的、专门的“专家”模型。（三言科技）