DeepSeek LLM 作为一款开源大语言模型，其成功得益于长期主义（Longtermism）的研发理念和系统性的优化策略。在代码生成、数学推理、多语言任务等领域表现出色， 多项基准测试证明其性能超越 LLaMA-2 70B 和 GPT-3.5。 更重要的是，DeepSeek LLM 的训练成本仅为同类闭源模型的十分之一，堪称开源界的良心之作。

DeepSeek LLM 的出现，就像一颗石子投进了平静的湖面，激起了不小的涟漪。它以惊人的性价比，直接挑战了闭源模型的固有优势，甚至让人开始重新审视国际科技竞争的格局。 这简直就是大模型领域的“平民英雄”！

我希望通过这篇笔记，跟大家一起捋一捋 DeepSeek LLM 的技术思路，看看它是如何做到既强又省的，以及它又将如何影响未来的 AI 研究和应用。

这只是我个人的学习心得，基于对论文原文和社区讨论的理解和总结，难免会有疏漏和偏差。

DeepSeek LLM 的核心目标是通过系统性研究语言模型的扩展规律（Scaling Law），解决开源大模型在规模化训练中的核心矛盾：高成本、闭源。简单来说，就是研究怎么让大模型变得更大更强，而且是可持续的、能让开源社区也一起玩得转的方案。

 的技术框架，旨在为开源社区提供可复用的扩展方法论，并推动大语言模型在代码生成、数学推理等复杂任务中的应用。

论文研究了语言模型的缩放行为，并应用于两种广泛使用的大规模模型配置，即7B和67B。旨在为开源 LLM 的未来扩展奠定基础，为该领域的进一步发展铺平道路。

DeepSeek LLM 在数据采集、模型设计和训练方式上都有创新。

（1）数据构建的精细化策略（论文的 2.1 章节）：

（2）模型架构的混合优化（论文的 2.2 章节）：

（3）训练策略（论文2.3章节）：

（4）扩展定律的重新定义（论文第 3 章节）：

DeepSeek LLM 的多个基准测试（论文第 5 章）：

：论文对数据质量与扩展规律的关联性讨论较少，且未深入探讨模型安全对齐的长期影响。

DeepSeek LLM 的训练数据以多语言（中英文为主）为核心，构建了包含约 

 的预训练语料库。数据来源包括Common Crawl、DeepSeekMath Corpus（规模达 120B tokens）等高价值数据源。

采用激进的跨转储去重策略（去重率高达 89.8%），并通过语言分类器、语义评估和规则过滤低质量内容。调整数据分布，增加数学、代码等领域的权重，解决数据不平衡问题。基于字节级字节对编码（BBPE），词汇表大小设置为 100015，支持多语言混合处理。

 架构，整体设计借鉴 LLaMA，但在细节上进行了多项优化：

通过低秩压缩 Key-Value 缓存，减少推理内存占用，同时保持性能。在训练中引入多 Token 预测目标，加速生成过程。

，整合数据并行、张量并行、流水线并行等技术，支持大规模集群训练。 同时引入 

还有多步学习率衰减策略替代传统余弦调度，支持持续训练。结合 GRPO（Group Relative Policy Optimization）策略，取消 Critic 模型依赖，提升数学推理能力。

论文中对训练时间未明确公开，但通过架构优化显著降低单卡算力需求。

DeepSeek 67B 在代码生成（HumanEval）和数学推理（MATH）任务中超越 LLaMA-2 70B 和 GPT-3.5。 在 

 中，DeepSeek-V3 的奖励模型与 GPT-4o 和 Claude-3.5 表现相当。

“效率优先、领域深耕、开源共赢”

 理念。证明了大模型的发展不必盲目追逐参数规模，而是可以通过架构创新、数据优化与训练策略的协同设计，在特定领域达到甚至超越闭源模型。

DeepSeek 也拥有其他 LLM 中常见的公认局限性：预训练后缺乏持续的知识更新，可能生成非事实性信息（例如未经验证的建议），以及产生幻觉的倾向。

数据主要来自中文和英文来源，未涉及 小语种、低资源领域（如非洲方言、冷门编程语言） 的测试。

读完这篇论文，最大的感触就是，数据才是王道！DeepSeek LLM 专注搞高质量的数学和代码数据，特别是那种激进的去重和重混策略，简直是不讲道理。而且，数据清洗预处理的每个细节都不放过，对模型性能影响太大了。

DeepSeek 的多头潜在注意力（MLA）和 DeepSeekMoE 设计就挺巧妙的，兼顾了推理效率和显存占用，那些旋转位置编码（RoPE）和分组查询注意力（GQA）的小细节，对实际部署也很有帮助。

训练策略也很关键，DeepSeek 用 FP8 混合精度训练、DualPipe 算法优化通信效率，包括他们那个轻量级的对齐方法，都是为了榨干计算资源的潜力。还有，针对数学推理任务，用强化学习和多 Token 预测，直接提升了模型的能力。

我觉得 DeepSeek 的成功说明，开源模型不用和那些闭源巨头硬碰硬，而是可以在特定领域深耕，建立自己的优势。

‘小而精’ 胜于 ‘大而全’，通过优化数据、架构和训练策略，中等规模的模型也能在特定领域超越更大的模型。而且，要差异化创新，关注长尾需求。

攻克DeepSeek LLM：一次AI论文阅读之旅

本文整理了近期学习DeepSeek LLM系列论文的笔记，重点关注其在模型结构、训练数据构建、预训练和微调策略上的创新之处。

人工智能

编程语言

数据清洗

强化学习

2025春季采购节

33 天实现自己的 AI 进化论？发文瓜分机械键盘、耳机等万元奖池！点击参加活动：<a href="https://cloud.tencent.com/developer/article/2503022" target="_blank">https://cloud.tencent.com/developer/article/2503022</a><br/> 
 <img src="https://qcloudimg.tencent-cloud.cn/raw/01543e0407db10898a7ee9f420794432.jpg"/>

技术创作特训营有奖征文

文章

问答

视频

学习中心

腾讯云实验室

直播

竞赛

腾讯云架构师技术同盟交流圈

腾讯云数据库专区

腾讯云原生专区

腾讯混元专区

腾讯云TCE专区

腾讯云Lighthouse专区

腾讯云HAI专区

腾讯云Edgeone专区

腾讯云存储专区

腾讯云智能专区

腾讯轻联专区 

腾讯云开发专区

TAPD专区

腾讯云最具价值专家

腾讯云架构师技术同盟

腾讯云创作之星

腾讯云开发者先锋 

腾讯云AI代码助手

CODING DevOps

Cloud Studio

SDK中心

API中心

命令行工具

文章&问答评论现已支持表情

DeepSeek LLM 作为一款开源大语言模型，其成功得益于长期主义（Longtermism）的研发理念和系统性的优化策略。在代码生成、数学推理、多语言任务等领域表现出色， 多项基准测试证明其性能超越 LLaMA-2 70B 和 GPT-3.5。 更重要的是，DeepSeek LLM 的训练成本仅为同类闭源模型的十分...

攻克DeepSeek LLM：一次AI论文阅读之旅

攻克DeepSeek LLM：一次AI论文阅读之旅

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐