biscuitの博客

1. 马尔可夫性#

在强化学习中，给定当前状态和当前动作后，下一步的奖励和状态与更早的历史无关：

等价地，可以分别写成：

如果不显式考虑动作，普通随机过程的马尔可夫性是：

注意：在 MDP 中，动作会影响环境，所以不能把带动作的转移写成缺少 $a$ 的 $p(s'\mid s)$。

2. 为什么马尔可夫性重要？#

马尔可夫性允许我们只使用当前状态进行决策和价值估计，而不用保存完整历史。例如，如果机器人状态只记录当前位置，却没有记录速度，而速度会影响下一时刻的运动，那么这个“状态”可能不满足马尔可夫性；加入速度后，状态表示可能就足够了。

因此，状态不只是观测到的某个数据，而是用于预测未来和决策的状态表示。若观测本身不满足马尔可夫性，就需要补充历史信息、使用状态估计，或使用能够处理历史的模型。

1. 没有动作的马尔可夫链#

马尔可夫链描述没有智能体动作参与的状态随机过程。其转移概率为：

当状态空间有限时，可以用状态转移矩阵 $P$ 表示：

本文采用“行表示当前状态、列表示下一状态”的约定，因此：

例如，矩阵的第 $s$ 行描述从当前状态 $s$ 出发到所有可能下一状态的概率分布。

2. MDP 中的转移矩阵#

在 MDP 中，转移概率还依赖动作：

对于每一个固定动作 $a$，都可以定义一个矩阵 $P^a$：

如果使用策略 $\pi$ 选择动作，动作随机性和环境随机性合在一起后，状态转移矩阵会变为策略诱导的矩阵：

这个 $P^\pi$ 是后面进行策略评估时使用的状态转移矩阵。

1. MRP 的定义#

马尔可夫奖励过程（Markov Reward Process, MRP）是在马尔可夫链的基础上加入奖励机制。一个有限状态的 MRP 通常由四元组表示：

其中：

• $\mathcal{S}$ 是状态空间；
• $P(s'\mid s)$ 是状态转移概率；
• $\bar R(s)$ 是从状态 $s$ 出发时奖励的期望；
• $\gamma$ 是折扣因子。

奖励随机变量仍记作 $R_{t+1}$。奖励函数 $\bar R(s)$ 是条件期望：

某些教材会直接把期望奖励写成 $R(s)$。为了避免和奖励随机变量混淆，本文使用 $\bar R(s)$。

2. MDP 如何诱导出 MRP？#

MDP 中有动作，MRP 中没有动作。固定一个策略 $\pi$ 后，动作可以被策略的随机性平均掉，于是 MDP 变成一个 MRP：

其中：

如果奖励和下一状态相关，也可以从联合分布得到策略诱导的奖励模型；对于价值函数的期望方程，只需要正确使用联合分布或对应边缘期望即可。

因此，MRP 可以理解为：在一个 MDP 上固定策略后，从环境视角看到的无动作随机过程。

1. MDP 的组成#

一个离散时间 MDP 可以用下列对象描述：

其中：

1. 状态空间 $\mathcal{S}$：所有可能状态的集合；
2. 动作空间 $\mathcal{A}$：所有可能动作的集合；
3. 可行动作集合 $\mathcal{A}(s)$：在状态 $s$ 下允许执行的动作；
4. 状态转移概率 $p(s'\mid s,a)$：在 $s$ 执行 $a$ 后到达 $s'$ 的概率；
5. 奖励分布 $\rho(r,s'\mid s,a)$：执行动作后奖励和下一状态的联合分布；
6. 折扣因子 $\gamma$：衡量未来奖励重要性的参数。

如果只分别记录奖励和状态的边缘分布，可以写成 $p(r\mid s,a)$ 与 $p(s'\mid s,a)$。如果奖励只依赖 $(s,a)$，常用平均奖励函数：

奖励分布和转移分布都应满足归一化条件：

2. 策略不是 MDP 的环境参数#

策略 $\pi(a\mid s)$ 是智能体在 MDP 上采取的行为规则，不属于环境 MDP 的固定组成。策略满足：

同一个 MDP 可以使用不同策略；策略改变时，智能体采取的动作分布、轨迹分布和价值函数都会改变。

3. MDP 中的一次交互#

给定 $S_t=s$，智能体按照 $\pi$ 采样动作 $A_t=a$，环境再根据 $p(r,s'\mid s,a)$ 产生奖励和下一状态：

这次交互可以记录为转移元组：

由初始状态分布 $\mu_0$ 和策略—环境组合得到的有限轨迹概率为：

这个表达式说明：轨迹的随机性来自三个部分：初始状态、策略选择动作，以及环境生成奖励和下一状态。