教程:RLHF 全流程,从人类偏好到奖励模型
这篇掘金人工智能教程系统讲解了 RLHF 的完整流程:先用约 1.3 万条 prompt 做 SFT 冷启动,再用约 3.3 万条 prompt 的人类排序偏好训练奖励模型,最后用 PPO 强化学习优化。文章解释了奖励模型的 Bradley-Terry 损失、把词表投影头换成打分头的改造方式,以及 PPO 中 Actor、Reward、Reference、Critic 四个模型的分工与 KL 惩罚对 reward hacking 的抑制作用。文中引用 OpenAI 2022 年 InstructGPT 论文,称 1.3B 的 InstructGPT 在偏好评测中超过了 175B 的 GPT-3,并在结尾预告了 DPO 与 DeepSeek 的 GRPO 等更简化路线。
文章把偏好对齐背后的工程细节——奖励模型训练、PPO 四模型协同、KL 抑制刷分——汇总成一份中文教程,并附代码示意,便于从业者系统理解对齐训练的实现方式。
在上一篇文章中,我们学习了如何用标注好的问答数据对预训练模型做监督微调,还学习了 LoRA 这种只训练一小部分参数的高效微调方式。经过 SFT,模型学会了模仿标准答案的格式和口吻,从一个只会续写文本的底座模型,变成了一个能按指令回答问题的助手。
不过 SFT 有一个绕不开的局限:它教模型模仿的标准答案只有一个。但同一个问题往往有很多种回答方式,有的准确有的含糊,有的有用有的无聊,甚至有的在胡说八道。好坏之间的差别很微妙,很难写成一条条标准答案让模型去背。还有一点更棘手:对于那些不该回答的有害请求,SFT 最多靠几条例拒样本让模型学着拒绝,模型并不知道拒绝的边界在哪里。对于这些问题,2022 年 OpenAI 发表的 InstructGPT 论文给出了一条新路:不再让模型模仿标准答案,而是让人类告诉模型哪个回答更好,用这个偏好信号来训练模型。这就是 RLHF(Reinforcement Learning from Human Feedback,基于人类反馈的强化学习),也就是用人类偏好作为奖励信号、再用强化学习去优化模型的方法。ChatGPT 之所以在 2022 年底一鸣惊人,背后的关键一步正是它。今天我们就把 RLHF 的完整流程讲清楚。
#OpenAI#InstructGPT#DeepSeek#DPO#PPO#Bradley-Terry model#TRL