首页
学习
活动
专区
圈层
工具
发布
社区首页 >专栏 >第一性原理大模型课程 · 第 38 课:RLHF 与 PPO:四模型显存账、KL 与 clip 手算

第一性原理大模型课程 · 第 38 课:RLHF 与 PPO:四模型显存账、KL 与 clip 手算

作者头像
用户12431597
发布于 2026-11-18 15:57:24
发布于 2026-11-18 15:57:24
110
举报
概述
这是大模型课程系列的第 38 课。 第 37 课把「更好」变成了奖励模型的一个标量分数。但拿到分数之后怎么办?最直接的想法是「最大化它」——可奖励只是人类偏好的不完美代理,越优化越会钻空子。 这一篇用 6 个问题把 RLHF 的第三段走一遍:为什么不能裸跑奖励、PPO 为什么要四个模型同时驻留、KL 惩罚(β)与 clip(ε=0.2)各防什么、这套东西贵在哪、以及能不能干脆不要 RL。内容来自课

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档