标签：rlhf
0 篇笔记 · 1 篇论文笔记 · 0 个资源导读
论文笔记（1）
- D30 基于人类偏好的深度强化学习：不写奖励函数，让人比较两段录像
OpenAI 与 DeepMind 2017 年合作：很多任务写不出奖励函数，于是让人看两段 1–2 秒的行为录像、选更好的一段，用这些比较训练奖励模型，再用强化学习优化这个模型。在 Atari 和机器人模拟任务上，反馈只覆盖不到 1% 的交互，约一小时人力就能教会后空翻等新行为，是后来语言模型 RLHF 的前身。
0 篇笔记 · 1 篇论文笔记 · 0 个资源导读
OpenAI 与 DeepMind 2017 年合作：很多任务写不出奖励函数，于是让人看两段 1–2 秒的行为录像、选更好的一段，用这些比较训练奖励模型，再用强化学习优化这个模型。在 Atari 和机器人模拟任务上，反馈只覆盖不到 1% 的交互，约一小时人力就能教会后空翻等新行为，是后来语言模型 RLHF 的前身。