北京深度求索公司推出首个国产开源MoE大模型

据量子位报道，北京深度求索公司推出首个国产开源MoE大模型DeepSeek MoE，性能媲美Llama 2-7B，计算量降低60%。DeepSeek MoE 目前推出的版本参数量为 160 亿，实际激活参数量大约是 28 亿。此外，深度求索团队还透露，DeepSeek MoE 模型还有 145 B 版本正在研发。阶段性的初步试验显示，145 B 的 DeepSeek MoE 对 GShard 137 B 具有极大的领先优势，同时能够以 28.5% 的计算量达到与密集版 DeepSeek 67 B 模型相当的性能。