用户12431597
第一性原理大模型课程 · 第 38 课:RLHF 与 PPO:四模型显存账、KL 与 clip 手算
原创
关注作者
腾讯云
开发者社区
文档
建议反馈
控制台
登录/注册
首页
学习
活动
专区
圈层
工具
MCP广场
文章/答案/技术大牛
搜索
搜索
关闭
发布
用户12431597
社区首页
>
专栏
>
第一性原理大模型课程 · 第 38 课:RLHF 与 PPO:四模型显存账、KL 与 clip 手算
第一性原理大模型课程 · 第 38 课:RLHF 与 PPO:四模型显存账、KL 与 clip 手算
用户12431597
关注
发布于 2026-11-18 15:57:24
发布于 2026-11-18 15:57:24
11
0
举报
概述
这是大模型课程系列的第 38 课。 第 37 课把「更好」变成了奖励模型的一个标量分数。但拿到分数之后怎么办?最直接的想法是「最大化它」——可奖励只是人类偏好的不完美代理,越优化越会钻空子。 这一篇用 6 个问题把 RLHF 的第三段走一遍:为什么不能裸跑奖励、PPO 为什么要四个模型同时驻留、KL 惩罚(β)与 clip(ε=0.2)各防什么、这套东西贵在哪、以及能不能干脆不要 RL。内容来自课
原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。
如有侵权,请联系
cloudcommunity@tencent.com
删除。
AIGC
问题归档
专栏文章
快讯文章归档
关键词归档
开发者手册归档
开发者手册 Section 归档