![文章封面](https://developer.qcloudimg.com/http-save/10106350/d92d75ab9a99647cf75e5db2e5e58b0f.jpg)

百度开源了ERNIE 5.5 Flash Base，一个总参数量280B(十亿)、每个token激活14B参数的文本MoE(混合专家)基础模型。该模型从零开始用33.5T(万亿)个token预训练，训练阶段上下文长度为128K(千)，微调和推理阶段扩展到1M(百万)。MoE架构的特点是模型内部划分出多个“专家”子网络，处理每个token时只激活其中一部分，借此在保留大参数量能力的同时控制实际计算量。

![](https://developer.qcloudimg.com/http-save/10106350/0af92aae1074118d3325615f6423a329.jpg)

ERNIE 5.5 Flash Base是纯文本模型，共43层，隐藏层维度4096。预训练使用了Muon优化器，这是近年大模型训练中逐渐被采用的一种优化算法，官方未在现有材料中说明选择它的具体原因。

## 结构上的几处改动

模型在注意力机制和参数效率上做了具体调整。注意力输出门控改为来自低秩query latent，这一改动把门投影(gate-projection，注意力模块中控制信息流动的那部分参数)参数量削减到四分之一。通过低秩表示替代完整投影，可以在基本保留功能的前提下减少参数开销。

模型还加入了一个名为ECHO的模块，额外带来0.36B参数，这部分参数未计入前面提到的280B总参数量和14B激活参数量的官方口径。此外，模型采用了Manifold-constrained Hyper-Connections结构(简称mHC，流形约束超连接)，扩展率为4，并配有一个MultiMax输出头。这几项是网络内部连接方式和输出层的设计选择，官方材料没有说明它们各自对最终效果的贡献，也没有给出消融实验数据，具体收益目前无法核实。MoE模型近期的一个共同趋势是通过类似的结构改动压缩非核心参数、把计算预算更多留给专家路由本身，ECHO和mHC是否属于这一思路下的具体实现，现有材料没有给出佐证。

百度团队同时公布了一项名为FlashMask-4的注意力加速方案，在SM100硬件(英伟达GPU的一种计算架构型号)上，相较FlashAttention-4 MaskMod(业界已有的一种注意力计算加速方法)，前向计算最高提速175%，反向计算最高提速74%。这组数据来自百度自己的测试，第三方尚未提供独立验证。

## 与同类模型的参数对比

百度公开的一份汇总表格列出了几款同类定位模型的参数规模，但表格本身未标注每一行对应的具体模型名称，只能确认数值顺序。按这份表格，总参数依次为280B、284B、295B(另加3.8B的MTP，即多token预测模块)、310B;激活参数依次为14B、13B、21B、15B。文中出现的DeepSeek-V4-Flash-Base对应284B总参数一项，Hy3-preview-Base对应21B激活参数一项，这两组对应关系来自原始资料的表格排列，其余型号的名称和版本信息在原始材料中缺失，无法逐一核实对应关系是否准确。

## 部署与评测

模型的推理部署路径指定通过vLLM(一种开源大模型推理服务框架)进行，所需版本不低于0.32.0，并需要搭配vLLM-ERNIE插件使用。

百度文心团队在同一套评测框架下，对ERNIE 5.5 Flash Base做了30项基准测试(Benchmark)，覆盖综合、知识、理科、推理、多语言、代码与长上下文七类能力。百度官方材料本身没有披露这30项测试的具体分值，也没有给出与前代模型逐项对比的数据，目前无法判断该模型在哪些能力类别上领先或落后。

外部研究者和同类厂商对这一模型的具体评价尚未见公开材料，模型实际效果与对比模型的真实差距，仍需等待第三方测试结果。

百度开源文本MoE基础模型ERNIE 5.5 Flash Base，总参数280B、每个token仅激活14B，用33.5T token从零预训练，并公开了注意力门控和并行结构上的多项改动。

百度开源ERNIE 5.5 Flash Base,总参数280B仅激活14B

人工智能

百度发布ERNIE5.5 Flash Base：280B总参数、14B激活的文本MoE模型，预训练规模33.5T tokens，支持1M上下文，引入低秩门控、ECHO模块及mHC结构，推理依赖vLLM框架，加速方案FlashMask-4在SM100上实现175%前向提速。

大模型推理

DeepSeek

路由

4核4G3M云服务器 新用户低至38元/年！

文章

问答

视频

教程

学习中心

腾讯云实验室

直播

竞赛

腾讯云代码分析专区

腾讯iOA零信任安全管理系统专区

腾讯云架构师技术同盟交流圈

腾讯云数据库专区

腾讯云智能顾问专区

腾讯云原生专区

腾讯混元专区

腾讯云TCE专区

腾讯云Lighthouse专区

腾讯云HAI专区

腾讯云Edgeone专区

腾讯云存储专区

腾讯云智能专区

腾讯轻联专区 

腾讯云开发专区

TAPD专区

腾讯轻量云游戏服专区

EdgeOne AI 安全实战专区

腾讯云最具价值专家

腾讯云架构师技术同盟

腾讯云创作之星

腾讯云开发者先锋

腾讯云代码助手

云原生构建

TAPD 敏捷项目管理

Cloud Studio

SDK中心

API中心

命令行工具

涵盖代码开发、场景应用、自动测试全流程，助你从零构建专属AI助手

一站式MCP教程库，解锁AI应用新玩法

聚焦“写作效率、视觉美观与运行性能”三方面进行全面升级，为您提供更高效、稳定的创作环境

社区富文本&Markdown编辑器全新改版上线，欢迎大家体验!

诚挚邀请您参与本次调研，分享您的真实使用感受与建议。您的反馈至关重要，感谢您的支持与参与！

社区新版编辑器体验调研

百度开源ERNIE 5.5 Flash Base,总参数280B仅激活14B-腾讯云开发者社区-腾讯云

百度开源ERNIE 5.5 Flash Base,总参数280B仅激活14B

百度开源ERNIE 5.5 Flash Base,总参数280B仅激活14B

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐