探索 vs. 利用（Exploration vs. Exploitation）策略差异

过去几年，随着基于人类偏好的强化学习（Reinforcement Learning from Human Feedback，RLHF）的兴起，强化学习（Rein...

尽管如GPT-4和Gemini等基础模型已在通用语言理解方面设立了新的行业标杆 ，但它们在需要深度领域知识的专业领域中，其表现常常不尽如人意。

强化学习在DeepSeek-V3发挥了关键作用，现阶段LLM的发展已经离不开 强化学习这一核心技术了，从大模型对齐到推理模型训练再到如今的智能体强化学习（Age...

基于模型的强化学习（Model-Based Reinforcement Learning,  MBRL）。首先，上述理论都是为了建树免模型强化学习。无模型强化学...

他认为在LLM中，强化学习确实已经取得突破，而之后还有三个值得探索的方向：Scaling强化学习、稀疏奖励和持续学习。

并且，它通过跨领域训练数据，包括数学、代码、STEM、谜题、指令遵循，实现了泛化能力。

强化学习（RL）已经成为当今 LLM 不可或缺的技术之一。从大模型对齐到推理模型训练再到如今的智能体强化学习（Agentic RL），你几乎能在当今 AI 领域...

就像一个在不断刷「运营经验值」的打工AI，背后很可能跑着强化学习算法或者在线学习机制，让它越干越聪明。

大型语言模型（LLM）的训练流程通常分为预训练（Pre-training） 和后训练（Post-training） 两个核心阶段。在后训练阶段，监督微调（SFT...

该代码是策略梯度（Policy Gradient）方法最简实现，采样一批episode，计算每步动作的对数概率乘以整条轨迹的总奖励，作为损失函数优化策略网络，实...

深度强化学习（Deep Reinforcement Learning, DRL）是强化学习（RL）与深度学习（DL）的交叉领域，其核心在于利用深度学习的表征能力...

2024 年底，Ilya Sutskever 断言「我们所知的预训练时代即将终结」，让整个人工智能领域陷入对 Scaling What 的集体追问之中。

本月初我们就曾梳理报道了一些，包括 Sakana AI 与不列颠哥伦比亚大学等机构合作的「达尔文-哥德尔机（DGM）」、CMU 的「自我奖励训练（SRT）」、上...

强化学习阶段的高计算成本和时间开销一直是开放环境训练的一大难题。WebDancer 通过优化算法和硬件资源的高效利用，显著降低了强化学习的成本。具体来说，Web...

Mistral 公司推出了首个推理模型 Magistral 及自研可扩展强化学习 (RL) 流程。团队采用自下而上的方法，完全基于自有模型和基础设施构建，不依赖...

在线（传统）强化学习与离线强化学习的区别在于，在线强化学习通过采取可能因模型变化而产生的新动作不断地“测试”模型，而离线训练可能会自我引导进入一个未经现实检验的...

在 2016 年的一次演讲中，Yann LeCun 曾将强化学习比喻成蛋糕上的樱桃。他提到，「如果把智能比作一块蛋糕，那么无监督学习就是蛋糕的主体，监督学习就是...

在技术报告中，Mistral 表示 Magistral 应用了自主研发的可扩展强化学习流水线，其并非依赖现有实现和从先前模型中提炼出的强化学习痕迹，而是采用自下...

在 AGI 的浩瀚征途中，数学推理能力始终是衡量其智能水平的关键试金石。然而，当前大语言模型（LLM）在数学推理，特别是通过强化学习（RL）进行训练时，正面临着...