ChatGPT训练流程

图源：State of GPT - Microsoft Build

在这里插入图片描述

笔者翻译上图如下：

请添加图片描述

强化学习建模过程如下：

1. 将指令精调后的大语言模型作为Agent，agent的action即给定输入文本

进入

后的文本

。

• 所有可能输入的文本构成了agent的状态空间
• 所有可能输出的文本构成了agent的动作空间

1. 将奖励模型作为Environment对模型输出进行打分，将分数作为奖励。

注：

1. 二元分类说法并不准确，原始目标是希望对两个生成的回复进行打分即两者之间按更符合人类预期进行比较，胜出的回复应该得到更多的分数，亦即获得更大的奖励。或者也可以认为是在两者之间做分类，将更符合人类预期的筛选出来，但前者是更加准确的描述。

在这里插入图片描述

图源：cs224n-2023-lecture11-prompting-rlhf.pdf

1. 奖励模型是用来实现强化学习的一个辅助模型，可以理解为强化学习建模中的环境（Environment）