S范式级
InstructGPT 用人类反馈对齐指令
更小的模型因回答方式更符合偏好而胜过 GPT-3
已核验1可追溯来源
OpenAI 公开 InstructGPT 训练方法，通过示范数据、偏好排序和强化学习，让语言模型更按用户指令回答。
发生了什么
标注员先写出理想回答用于监督微调，再对多个模型回答排序，训练奖励模型，最后通过 PPO 优化策略。1.3B 参数模型在人类偏好中胜过 175B 的原始 GPT-3。
当时的行业背景
纯粹预测下一个词的模型能续写文本，却不天然理解用户是在提问、要求改写还是拒绝危险内容。增大参数并不能自动解决交互目标不一致。
为什么重要
它把“模型会什么”和“模型是否按人类意图回答”分成两个训练问题。这个流程直接支撑 ChatGPT，也让偏好数据、对齐和行为规范成为产品核心。
在它之前
大模型主要按预训练语料的统计规律续写文本。
在它之后
后训练明确塑造模型遵循指令、拒绝请求和表达不确定性的方式。
影响
它改变了什么
对用户
模型回答更直接、更少延续有害或无关提示，聊天式使用开始可行。
对开发者
RLHF 成为前沿语言模型后训练的标准组成部分。
对行业
数据标注从类别标签扩展到示范、比较和复杂行为偏好。
来源