biscuitの博客

一、从评价到控制#

被动 RL 问的是”这个策略怎么样”，主动 RL 问的是”应该采取什么策略”。二者的根本区别在于策略是否固定：

主动 RL 的骨架是广义策略迭代（GPI）：评价与改进交替进行，形成闭环——

数据修正价值，价值改变策略，策略又决定下一步采集什么数据。学习目标也从固定策略的 $V^\pi$ 逐渐变成最优的 $V^*$，从 $Q^\pi$ 变成 $Q^*$。

二、探索与利用的矛盾#

一旦策略要靠自己的选择去采集数据，一个被动 RL 中不存在的矛盾就出现了。

设智能体在状态 $s$ 有两个动作，已经试过很多次 $a_1$，估计 $Q(s,a_1)=8$；只试过一次 $a_2$，估计 $Q(s,a_2)=5$。现在该选哪个？

• 选 $Q$ 值大的 $a_1$，叫利用（Exploitation）：用已知信息获取当前最大收益；
• 但 $a_2$ 只试过一次，估计很可能不准，它真实的价值也许是 $Q^*(s,a_2)=12$。要发现这一点，就必须再去试试 $a_2$，这叫探索（Exploration）。

被动 RL 为什么没这个矛盾？ 那里策略固定、动作不是智能体选的，它无从决定”要不要试试别的”。只有当策略本身要被优化、数据靠自己的选择采集时，探索与利用才成为问题；而且两者不是两个阶段，而是全程同时存在。

三、SARSA：同策略时序差分控制#

把第三篇 TD 评价 $V$ 的思路从”评价”推广到”控制”：改为估计 $Q$，并在估计的同时用 $\varepsilon$-greedy 不断改进策略。

SARSA 的名字来自一次更新涉及的五个量 $(S_t,A_t,R_t,S_{t+1},A_{t+1})$。在当前状态执行 $A_t$，再按行为策略在下一状态实际选出 $A_{t+1}$，用它构造目标：

若 $S_{t+1}$ 是终止状态，则 $Y_t^{\mathrm{SARSA}}=R_t$。

为什么是 on-policy？ SARSA 用实际按行为策略选出的 $A_{t+1}$ 构造目标，执行动作的策略和被评估、被改进的策略是同一个，因此称为同策略（on-policy）。它学到的是”当前这个带探索的策略”的价值，风格上相对保守。

四、Q-learning：离策略时序差分控制#

Q-learning 只把 TD 目标里的下一动作换成贪心的最大值：

若下一状态为终止状态，则 $Y_t^{\mathrm{Q}}=R_t$。

为什么是 off-policy？ 采集数据时可以用 $\varepsilon$-greedy 等带探索的行为策略，但目标里用的是 $\arg\max_{a'}Q(S_{t+1},a')$ 对应的贪心目标策略——这个动作不需要真的执行。行为策略与目标策略可以不同，所以是离策略（off-policy）。它直接逼近最优 $Q^*$，但训练中的 $\max$ 操作也可能带来 $Q$ 值过估计问题。

五、SARSA 与 Q-learning 对比#

两者共享同一更新骨架 $Q(S_t,A_t)\leftarrow Q(S_t,A_t)+\alpha[Y_t-Q(S_t,A_t)]$，唯一的区别就在 TD 目标 $Y_t$：

Q-learning 在有限表格 MDP、满足充分探索和合适学习率等条件时，可以收敛到最优动作价值函数。

六、从表格到神经网络：通向 DQN#

以上所有 $Q(s,a)$ 都存成一张表格。但当状态空间很大（如围棋、图像输入）时，表格根本存不下，也无法泛化到没见过的状态。DQN 的思路是用神经网络替代表格：

表格算法的更新目标（Q-learning 的 TD 目标）不变，只是把”直接改表格里的一个数”换成”用 TD 误差算梯度、更新网络参数 $\theta$“。这就是表格方法向深度强化学习自然过渡的地方。

七、全系列回顾#

至此四篇文章串成一条完整主线：

如果觉得这四篇的公式还是偏抽象，下一篇网格世界实例会搭一个 $3\times4$ 的具体网格，把上面每个公式都带着数字手算一遍。