本文将从技术原理、实践方法、挑战难点等多个维度，全面解析LLM模型训练的核心技术。不仅会深入探讨传统的预训练和微调技术，还会重点分析最新的强化学习训练方法，特别...

项目链接：https://mit-realm.github.io/def-marl/

前段时间，中文大模型测评基准 SuperCLUE 发布了 2025 年 5 月报告。这份报告评估了来自 OpenAI、谷歌、DeepSeek、字节跳动等多家国内...

HILP和FB均基于演员-评论家框架，通过完全无监督的强化学习目标来捕获意图；相比之下，新方法仅需在相邻状态转移上训练基于隐变量模型的意图编码器，无需依赖复杂的...

探索 vs. 利用（Exploration vs. Exploitation）策略差异

过去几年，随着基于人类偏好的强化学习（Reinforcement Learning from Human Feedback，RLHF）的兴起，强化学习（Rein...

尽管如GPT-4和Gemini等基础模型已在通用语言理解方面设立了新的行业标杆 ，但它们在需要深度领域知识的专业领域中，其表现常常不尽如人意。

强化学习在DeepSeek-V3发挥了关键作用，现阶段LLM的发展已经离不开 强化学习这一核心技术了，从大模型对齐到推理模型训练再到如今的智能体强化学习（Age...

基于模型的强化学习（Model-Based Reinforcement Learning,  MBRL）。首先，上述理论都是为了建树免模型强化学习。无模型强化学...

他认为在LLM中，强化学习确实已经取得突破，而之后还有三个值得探索的方向：Scaling强化学习、稀疏奖励和持续学习。

并且，它通过跨领域训练数据，包括数学、代码、STEM、谜题、指令遵循，实现了泛化能力。

强化学习（RL）已经成为当今 LLM 不可或缺的技术之一。从大模型对齐到推理模型训练再到如今的智能体强化学习（Agentic RL），你几乎能在当今 AI 领域...

就像一个在不断刷「运营经验值」的打工AI，背后很可能跑着强化学习算法或者在线学习机制，让它越干越聪明。

大型语言模型（LLM）的训练流程通常分为预训练（Pre-training） 和后训练（Post-training） 两个核心阶段。在后训练阶段，监督微调（SFT...

该代码是策略梯度（Policy Gradient）方法最简实现，采样一批episode，计算每步动作的对数概率乘以整条轨迹的总奖励，作为损失函数优化策略网络，实...

深度强化学习（Deep Reinforcement Learning, DRL）是强化学习（RL）与深度学习（DL）的交叉领域，其核心在于利用深度学习的表征能力...

2024 年底，Ilya Sutskever 断言「我们所知的预训练时代即将终结」，让整个人工智能领域陷入对 Scaling What 的集体追问之中。

本月初我们就曾梳理报道了一些，包括 Sakana AI 与不列颠哥伦比亚大学等机构合作的「达尔文-哥德尔机（DGM）」、CMU 的「自我奖励训练（SRT）」、上...

强化学习阶段的高计算成本和时间开销一直是开放环境训练的一大难题。WebDancer 通过优化算法和硬件资源的高效利用，显著降低了强化学习的成本。具体来说，Web...

Mistral 公司推出了首个推理模型 Magistral 及自研可扩展强化学习 (RL) 流程。团队采用自下而上的方法，完全基于自有模型和基础设施构建，不依赖...