混元 Hy4 的参数规模与 Hy3 系列有什么差异？

1. 参数规模的跨越式增长

Hy3 系列采用 295B 总参数、21B 激活参数的 MoE 架构，而 Hy4 系列采用 770B 总参数、49B 激活参数的 MoE 架构，实现了参数规模的成倍扩展。这一规模提升为模型带来了更强的知识存储容量与推理能力上限。据腾讯混元披露，下一代 Hy5 的规模将进一步扩大，表明混元在参数规模和数据规模上持续爬坡的技术路线。

2. 迭代节奏与基础设施支撑

自 2026 年 2 月重建基础设施以来，腾讯混元大模型平均每两个月推出一个大版本。参数规模从 Hy3 的 295B（激活 21B）扩展到 Hy4 的 770B（激活 49B），背后依托的是混元在训练基础设施上的持续投入。结合 Hyra2.0，Hy4 优化了内部同架构小模型的预训练基础设施，并自动训练出在多项评测中优于官方版本的 Jev 模型。