DeepSeek的模型架构是什么？

DeepSeek的模型架构主要基于混合专家模型（MoE）和多头潜在注意力机制（MLA）。具体来说，DeepSeek采用了以下技术特点：

混合专家模型（MoE）

DeepSeek的MoE架构通过将模型分成多个专家，并在每个特定任务中只激活少量合适的专家，从而在推理过程中减少参数量，提升效率。DeepSeek-V3对MoE框架进行了重要创新，新框架包含细粒度多数量的专业专家和更通用的共享专家。

多头潜在注意力机制（MLA）

MLA是DeepSeek最关键的技术突破之一，它显著降低了模型推理成本。MLA通过低秩压缩技术减少了推理时的Key-Value缓存，显著提升了推理效率。

DeepSeekMoE架构

DeepSeekMoE架构融合了专家混合系统(MoE)、多头潜在注意力机制(MLA)和RMSNorm三个核心组件。通过专家共享机制、动态路由算法和潜在变量缓存技术，该模型在保持性能水平的同时，实现了相较传统MoE模型40%的计算开销降低。

训练方式

DeepSeek采用了基于大规模强化学习（RL）与高质量合成数据（Synthetic Data）结合的技术路径，可在不依赖标注数据、监督微调（SFT）的情况下，获得高水平推理能力。

数据策略

DeepSeek采用高质量合成数据的数据策略与其训练方式、推理任务相匹配，极大降低了数据成本。