【强化学习的数学原理】第八课：值函数近似_值函数近似 例子

【例子】

我们目前使用的都是state value表格形式

• 优点：直观易分析
• 缺点：没法处理大的和连续的state空间或action空间

假设我有一些状态$s_1,\dots ,s_{|\mathcal{S}|}$，他们的state value是$v_{\pi }\left(s_1\right),\dots ,v_{\pi }\left(s_{|\mathcal{S}|}\right)$，其中$\pi$是给定的策略。假设$|\mathcal{S}|$很大我们希望用一个曲线来代表这些点：

• 首先我们用直线拟合
  v ^ ( s , w ) = a s + b = [ s , 1 ] ⏟ ϕ T ( s ) [ a b ] ⏟ w = ϕ T ( s ) w \hat{v}(s, w)=a s+b=\underbrace{[s, 1]}_{\phi^T(s)} \underbrace{\left[

  $$\begin{array}{c} a \\ b \end{array}$$ \right]}_w=\phi^T(s) w v^(s,w)=as+b=ϕT(s) [s,1]​​w [ab​]​​=ϕT(s)w
  • $w$：参数向量
  • $\varphi (s)$：特征向量
  • $\hat{v}(s,w)$：对$w$的一个线性的关系
  • 其减少了存储的state value，但是近似是不精确的。

• 使用二阶曲线拟合
  v ^ ( s , w ) = a s 2 + b s + c = [ s 2 , s , 1 ] ⏟ ϕ T ( s ) [ a b c ] ⏟ w = ϕ T ( s ) w . \hat{v}(s, w)=a s^2+b s+c=\underbrace{\left[s^2, s, 1\right]}_{\phi^T(s)} \underbrace{\left[

  $$\begin{array}{c} a \\ b \\ c \end{array}$$ \right]}_w=\phi^T(s) w . v^(s,w)=as2+bs+c=ϕT(s) [s2,s,1]​​w ​abc​ ​​​=ϕT(s)w.
  • 增加了存储的值，但是拟合的精度提高了

• 使用更高阶的曲线拟合，使得拟合更好但是参数增加

  

【状态值估计算法】

✌目标函数：

目标：$v_{\pi }(s)$是真值，$\hat{v}(s,w)$是估计的值，我们的目标就是使估计的值接近真值。（当函数形式确定的时候我们主要找到最优的$w$参数使得其接近$v_{\pi }(s)$）

定义目标函数：
$$J(w)=\mathbb{E}\left[{\left(v_{\pi }(S)-\hat{v}(S,w)\right)}^2\right].$$

• 我们目标找到最优的$w$优化这个$J(w)$

• s获得：

  • 平均分布：给每个状态求平均的权重都是一样的$1/|\mathcal{S}|$

    目标函数变成：
    $$J(w)=\mathbb{E}\left[{\left(v_{\pi }(S)-\hat{v}(S,w)\right)}^2\right]=\frac{1}{|\mathcal{S}|}\sum _{s\in \mathcal{S}}{\left(v_{\pi }(s)-\hat{v}(s,w)\right)}^2$$

  • 平稳分布： { d π ( s ) } s ∈ S \left\{d_\pi(s)\right\}_{s \in \mathcal{S}} {dπ​(s)}s∈S​ 为 $s$ 的概率，其中每一个值 $d_{\pi }(s)\ge 0$ 并且 ${\sum }_{s\in \mathcal{S}}{d}_{\pi }(s)=1$

    目标函数变成：
    $$J(w)=\mathbb{E}\left[{\left(v_{\pi }(S)-\hat{v}(S,w)\right)}^2\right]=\sum _{s\in \mathcal{S}}{d}_{\pi }(s){\left(v_{\pi }(s)-\hat{v}(s,w)\right)}^2$$

✌优化算法：

为了最小化$J(w)$，我们可以使用梯度下降法：
$$w_{k+1}=w_k-{\alpha }_k{\nabla }_{w}J\left(w_k\right)$$
计算：
∇ w J ( w ) = ∇ w E [ ( v π ( S ) − v ^ ( S , w ) ) 2 ] = E [ ∇ w ( v π ( S ) − v ^ ( S , w ) ) 2 ] = 2 E [ ( v π ( S ) − v ^ ( S , w ) ) ( − ∇ w v ^ ( S , w ) ) ] = − 2 E [ ( v π ( S ) − v ^ ( S , w ) ) ∇ w v ^ ( S , w ) ]

$$\begin{aligned} \nabla_w J(w) & =\nabla_w \mathbb{E}\left[\left(v_\pi(S)-\hat{v}(S, w)\right)^2\right] \\ & =\mathbb{E}\left[\nabla_w\left(v_\pi(S)-\hat{v}(S, w)\right)^2\right] \\ & =2 \mathbb{E}\left[\left(v_\pi(S)-\hat{v}(S, w)\right)\left(-\nabla_w \hat{v}(S, w)\right)\right] \\ & =-2 \mathbb{E}\left[\left(v_\pi(S)-\hat{v}(S, w)\right) \nabla_w \hat{v}(S, w)\right] \end{aligned}$$ ∇w​J(w)​=∇w​E[(vπ​(S)−v^(S,w))2]=E[∇w​(vπ​(S)−v^(S,w))2]=2E[(vπ​(S)−v^(S,w))(−∇w​v^(S,w))]=−2E[(vπ​(S)−v^(S,w))∇w​v^(S,w)]​
这里我们需要计算一个均方，我们可以使用随机梯度进行替代：
$$w_{t+1}=w_t+{\alpha }_t\left(v_{\pi }\left(s_t\right)-\hat{v}\left(s_t,w_t\right)\right){\nabla }_w\hat{v}\left(s_t,w_t\right),$$
这里面涉及到$v_{\pi }(s_t)$，我们有两种方法进行代替：

• 蒙特卡洛方法：用$g_t$作为$v_{\pi }(s_t)$的估计值
  $$w_{t+1}=w_t+{\alpha }_t\left(g_t-\hat{v}\left(s_t,w_t\right)\right){\nabla }_w\hat{v}\left(s_t,w_t\right).$$

• TD learning：
  $$w_{t+1}=w_t+{\alpha }_t\left[r_{t+1}+\gamma \hat{v}\left(s_{t+1},w_t\right)-\hat{v}\left(s_t,w_t\right)\right]{\nabla }_w\hat{v}\left(s_t,w_t\right)$$

✌函数的选择：

$$\hat{v}(s,w)⟶V_{\pi }$$

• 第一种：线性函数
  $$\hat{v}(s,w)={\varphi }^T(s)w$$

  • 由于线性函数我们有了其梯度${\nabla }_w\hat{v}(s,w)=\varphi (s)$

  • 将其带到TD learning中得到：也叫做TD-Linear
    w t + 1 = w t + α t [ r t + 1 + γ v ^ ( s t + 1 , w t ) − v ^ ( s t , w t ) ] ∇ w v ^ ( s t , w t ) w t + 1 = w t + α t [ r t + 1 + γ ϕ T ( s t + 1 ) w t − ϕ T ( s t ) w t ] ϕ ( s t )

    $$\begin{aligned} &w_{t+1}=w_t+\alpha_t\left[r_{t+1}+\gamma \hat{v}\left(s_{t+1}, w_t\right)-\hat{v}\left(s_t, w_t\right)\right] \nabla_w \hat{v}\left(s_t, w_t\right)\\ &w_{t+1}=w_t+\alpha_t\left[r_{t+1}+\gamma \phi^T\left(s_{t+1}\right) w_t-\phi^T\left(s_t\right) w_t\right] \phi\left(s_t\right) \end{aligned}$$ ​wt+1​=wt​+αt​[rt+1​+γv^(st+1​,wt​)−v^(st​,wt​)]∇w​v^(st​,wt​)wt+1​=wt​+αt​[rt+1​+γϕT(st+1​)wt​−ϕT(st​)wt​]ϕ(st​)​
    • 劣势：需要有很好的特征向量
    • 优点：理论好分析，具有比较强的表征能力

• 第二种：神经网络逼近函数

  

✌例子说明：

• 给定策略对任何的$s,a$ 其 $\pi (a\mid s)=0.2$

• 目标：估计state values在这个策略

• 参数：$r_{\text{forbidden }}=r_{\text{boundary }}=-1,r_{\text{target }}=1$, $\gamma =0.9$

• 真实结果：

  

• 近似：我们有500个episodes，每个episodes有500步，每个episode出发是随机选择的且服从均匀分布

  通过TD-Table绘制：

  

  TD-Linear：

  • 特征向量选择：
    ϕ ( s ) = [ 1 x y ] ∈ R 3 \phi(s)=\left[

    $$\begin{array}{l} 1 \\ x \\ y \end{array}$$ \right] \in \mathbb{R}^3 ϕ(s)= ​1xy​ ​∈R3

  • 近似状态值：
    v ^ ( s , w ) = ϕ T ( s ) w = [ 1 , x , y ] [ w 1 w 2 w 3 ] = w 1 + w 2 x + w 3 y \hat{v}(s, w)=\phi^T(s) w=[1, x, y]\left[

    $$\begin{array}{l} w_1 \\ w_2 \\ w_3 \end{array}$$ \right]=w_1+w_2 x+w_3 y v^(s,w)=ϕT(s)w=[1,x,y] ​w1​w2​w3​​ ​=w1​+w2​x+w3​y

  • 通过TD-Linear进行估计：

    

    最终收敛了但是最终值不是0，我们后续可以通过高阶进行拟合

  High-order feater vectors：

  • 特征向量选择：
    $$\varphi (s)={\left[1,x,y,x^2,y^2,xy\right]}^T\in {\mathbb{R}}^6$$

  • 近似状态值：
    $$\hat{v}(s,w)={\varphi }^T(s)w=w_1+w_{2}x+w_{3}y+w_4{x}^2+w_5{y}^2+w_{6}xy$$

  • 拟合结果：

    

✌总结：

• 从目标函数出发，为真实的state value和估计的state value的加权平均：
  $$J(w)=\mathbb{E}\left[{\left(v_{\pi }(S)-\hat{v}(S,w)\right)}^2\right]$$

• 对算法使用梯度下降进行优化：
  $$w_{t+1}=w_t+{\alpha }_t\left(v_{\pi }\left(s_t\right)-\hat{v}\left(s_t,w_t\right)\right){\nabla }_w\hat{v}\left(s_t,w_t\right)$$

• 由于$v_{\pi }(s_t)$不知道，对其进行替代（这里不严谨可能会有问题）：
  $$w_{t+1}=w_t+{\alpha }_t\left[r_{t+1}+\gamma \hat{v}\left(s_{t+1},w_t\right)-\hat{v}\left(s_t,w_t\right)\right]{\nabla }_w\hat{v}\left(s_t,w_t\right)$$

【Sarsa 函数近似】

$$w_{t+1}=w_t+{\alpha }_t\left[r_{t+1}+\gamma \hat{q}\left(s_{t+1},a_{t+1},w_t\right)-\hat{q}\left(s_t,a_t,w_t\right)\right]{\nabla }_w\hat{q}\left(s_t,a_t,w_t\right)$$

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/知新_RL/article/detail/867261