标签：reinforcement-learning

论文笔记（3）

1. D27 机器超级智能：用“智能体—环境”循环给智能下一个数学定义 · P6 · 11 分钟

   Shane Legg 2008 年的博士论文（导师 Hutter）。先汇总人类、动物和机器的智能定义，归纳为“智能衡量智能体在广泛环境中实现目标的能力”；再借助 Solomonoff 归纳与 AIXI 写成公式：在所有可计算环境上按 2^−K(μ) 加权求期望表现。还证明了可计算预测器的根本局限，并讨论超级智能的风险。

   • agents
   • reinforcement-learning
   • evals
   • ml-foundations
2. D29 近端策略优化（PPO）：用“截断”把每次策略更新限制在安全范围内 · P5 · 7 分钟

   OpenAI 2017 年提出的策略梯度方法：普通策略梯度每批数据只能更新一次，多更新几次就容易一步走太远。PPO 把新旧策略的概率比截断在 1±ε 之间，取截断前后的较小值作为目标，于是可以在同一批数据上做多轮小批量更新。它实现简单，在连续控制和 Atari 上表现稳健，后来成为 RLHF 的常用优化器。

   • reinforcement-learning
   • ml-foundations
3. D30 基于人类偏好的深度强化学习：不写奖励函数，让人比较两段录像 · P5 · 8 分钟

   OpenAI 与 DeepMind 2017 年合作：很多任务写不出奖励函数，于是让人看两段 1–2 秒的行为录像、选更好的一段，用这些比较训练奖励模型，再用强化学习优化这个模型。在 Atari 和机器人模拟任务上，反馈只覆盖不到 1% 的交互，约一小时人力就能教会后空翻等新行为，是后来语言模型 RLHF 的前身。

   • rlhf
   • reinforcement-learning
   • evals
   • ml-foundations