State values

State-value Function 状态价值函数，衡量在给定策略下从某状态出发的长期优劣。

基本定义

对一个满足马尔可夫性质的 MDP，考虑时间步序列 $t=0,1,2,\dots$，在时间步 $t$ 智能体处于状态 $S_t$，按策略 $\pi$ 选择动作 $A_t$，得到下一状态 $S_{t+1}$ 和即时回报 $R_{t+1}$：

$S_t\stackrel{A_t}{\to }{S}_{t+1},R_{t+1}$

$S_t,S_{t+1},A_t,R_{t+1}$ 都是随机变量。从 $t$ 出发的状态-动作-回报轨迹为：

$S_t\stackrel{A_t}{\to }{S}_{t+1},R_{t+1}\stackrel{A_{t+1}}{\to }{S}_{t+2},R_{t+2}\stackrel{A_{t+2}}{\to }{S}_{t+3},R_{t+3}\dots$

折扣回报（return）定义为：

$G_t\doteq R_{t+1}+\gamma R_{t+2}+{\gamma }^2{R}_{t+3}+\dots$

其中 $\gamma \in (0,1)$ 是折扣率。$G_t$ 是随机变量。随机变量

Since $G_t$ is a random variable, we can calculate its expected value (also called the expectation or mean): 期望 $v_{\pi }(s)\doteq \mathbb{E}[G_t|S_t=s].$

Here, $v_{\pi }(s)$ is called the state-value function 状态价值函数 or simply the state value of $s$ . Some important remarks are given below.

• $v_{\pi }(s)$ depends on $s$ . This is because its definition is a conditional expectation with the condition that the agent starts from $S_t=s$. 状态为 $s$ 时的期望
• $v_{\pi }(s)$ depends on $\pi$ . This is because the trajectories are generated by following the policy $\pi$ . For a different policy, the state value may be different.
• $v_{\pi }(s)$ does not depend on $t$ . If the agent moves in the state space, $t$ represents the current time step. The value of $v_{\pi }(s)$ is determined once the policy is given.

形式化定义（式 3.12）：

$v_{\pi }(s)\doteq {\mathbb{E}}_{\pi }\left[G_t\mid S_t=s\right]={\mathbb{E}}_{\pi }\left[{\sum }_{k=0}^{\infty }{\gamma }^k{R}_{t+k+1}\mid S_t=s\right],\forall s\in \mathcal{S}$

其中 ${\mathbb{E}}_{\pi }[\cdot ]$ 表示在策略 $\pi$ 下的期望。终态的价值始终为零。

动作价值函数 $q_{\pi }(s,a)$

类似地，动作价值函数（action-value function）定义为在状态 $s$ 采取动作 $a$ 后、遵循策略 $\pi$ 的期望回报：

$q_{\pi }(s,a)\doteq {\mathbb{E}}_{\pi }\left[G_t\mid S_t=s,A_t=a\right]={\mathbb{E}}_{\pi }\left[{\sum }_{k=0}^{\infty }{\gamma }^k{R}_{t+k+1}\mid S_t=s,A_t=a\right]$

$v_{\pi }$ 与 $q_{\pi }$ 的关系

状态价值是动作价值关于策略 $\pi$ 的期望：

$v_{\pi }(s)={\sum }_a\pi (a\mid s)q_{\pi }(s,a)$

反之，动作价值可用状态价值和动力学函数表示：

$q_{\pi }(s,a)={\sum }_{s^{\prime },r}p(s^{\prime },r\mid s,a)[r+\gamma v_{\pi }(s^{\prime })]$

Bellman 方程的推导

将回报递推 $G_t=R_{t+1}+\gamma G_{t+1}$ 代入 $v_{\pi }$ 的定义（式 3.14 的完整推导）：

$$\begin{array}{rl}{v}_{\pi }(s)& \doteq {\mathbb{E}}_{\pi }[G_t\mid S_t=s]\\ & ={\mathbb{E}}_{\pi }[R_{t+1}+\gamma G_{t+1}\mid S_t=s]\text{(by (3.9))}\\ & =\sum _a\pi (a|s)\sum _{s^{\prime }}\sum _{r}p(s^{\prime },r|s,a)[r+\gamma {\mathbb{E}}_{\pi }[G_{t+1}\mid S_{t+1}=s^{\prime }]]\\ & =\sum _a\pi (a|s)\sum _{s^{\prime },r}p(s^{\prime },r|s,a)[r+\gamma v_{\pi }(s^{\prime })]\end{array}$$

这就是 Bellman 方程。它将一个状态的价值表示为后继状态价值的递推关系，是 动态规划、TD 学习 和 MC 方法 的理论基础。

$q_{\pi }$ 的 Bellman 方程为：

$q_{\pi }(s,a)={\sum }_{s^{\prime },r}p(s^{\prime },r|s,a)[r+\gamma {\sum }_{a^{\prime }}\pi (a^{\prime }|s^{\prime })q_{\pi }(s^{\prime },a^{\prime })]$

最优价值函数

最优状态价值函数 $v_{\ast }$ 和最优动作价值函数 $q_{\ast }$ 对应所有策略中能取得的最大期望回报：

$v_{\ast }(s)\doteq {\max }_{\pi }{v}_{\pi }(s),q_{\ast }(s,a)\doteq {\max }_{\pi }{q}_{\pi }(s,a)$

对给定的 MDP，$v_{\ast }$ 和 $q_{\ast }$ 是唯一的，但最优策略可能有多个。$v_{\ast }$ 与 $q_{\ast }$ 的关系：

$v_{\ast }(s)={\max }_a{q}_{\ast }(s,a),q_{\ast }(s,a)=\mathbb{E}[R_{t+1}+\gamma v_{\ast }(S_{t+1})\mid S_t=s,A_t=a]$

最优价值函数满足 Bellman 最优方程：

$v_{\ast }(s)={\max }_a{\sum }_{s^{\prime },r}p(s^{\prime },r|s,a)[r+\gamma v_{\ast }(s^{\prime })]$

$q_{\ast }(s,a)={\sum }_{s^{\prime },r}p(s^{\prime },r|s,a)[r+\gamma {\max }_{a^{\prime }}{q}_{\ast }(s^{\prime },a^{\prime })]$

对有限 MDP，Bellman 最优方程有唯一解。任何关于 $v_{\ast }$ 或 $q_{\ast }$ 的贪心策略都是最优策略。

与回报的关系

• 当策略和系统模型都是确定性的：从某状态出发总是产生相同的轨迹，回报等于状态价值
• 当策略或系统模型是随机的：从同一状态出发可能产生不同轨迹，状态价值是这些回报的均值

状态价值比回报更正式地用于评估策略：产生更大状态价值的策略更优。Bellman 方程 提供了计算状态价值的核心工具。

相关概念

• MDP — 状态价值函数的定义框架
• Bellman equation — 状态价值满足的递推方程
• Bellman算子 — Bellman 方程的算子形式
• Monte Carlo Methods — 通过采样回报平均来估计状态价值
• Temporal Difference Learning — 结合 MC 和 DP 的价值估计方法
• Function approximation — 大状态空间下的价值函数近似