详解近端策略优化_近端策略优化算法实施流程

本文首发于行者AI

引言

上一篇文章我们详细介绍了策略梯度算法(PG)，ppo其实就是策略梯度的一种变形。首先介绍一下同策略（on-policy）与异策略(off-policy)的区别。

在强化学习里面，我们需要学习的其实就是一个智能体。如果要学习的智能体跟和环境互动的智能体是同一个的话，称之为同策略。如果要学习的智能体跟和环境互动的智能体不是同一个的话，称之为异策略。那么先给童鞋们提出一个问题，ppo算法是同策略还是异策略？

1. 同策略的不足之处

首先我们回顾一下PG的期望奖励值，公式如下。
∇ R ˉ θ = E τ ∼ p θ ( τ ) [ R ( τ ) ∇ log ⁡ p θ ( τ ) ]

$$\begin{aligned} \nabla \bar{R}_{\theta} &=E_{\tau \sim p_{\theta}(\tau)}\left[R(\tau) \nabla \log p_{\theta}(\tau)\right] \end{aligned}$$ ∇Rˉθ​​=Eτ∼pθ​(τ)​[R(τ)∇logpθ​(τ)]​
上面更新的公式中的$E_{\tau \sim p_{\theta }(\tau )}$是在策略${\pi }_{\theta }$的情况下， 所采样出来的轨迹$\tau$做期望。但是如果更新了参数，从$\theta$变成${\theta }^{\prime }$，概率$p_{\theta }(\tau )$就不对了，之前采样出来的数据就不能用了。所以PG会花很多时间去采样数据，可以说大多数时间都在采样数据，智能体去跟环境做互动以后，接下来就要更新参数，只能用这些数据更新参数一次。接下来就要重新再去收集数据，才能再次更新参数。

2. 改进同策略的思路

策略梯度是同策略的算法，所以非常耗费时间，那么一个可能的改进思路是将同策略变成异策略。简单的思路就是用另外一个策略${\pi }_{{\theta }^{\prime }}$， 另外一个演员${\theta }^{\prime }$去跟环境做互动。用${\theta }^{\prime }$收集到的数据去训练$\theta$。假设我们可以用${\theta }^{\prime }$收集到的数据去训练$\theta$，意味着说我们可以把${\theta }^{\prime }$收集到的数据用很多次，也就是可以执行梯度上升好几次，更新参数好几次，这都只要用同一笔数据就可以实现。因为假设$\theta$有能力学习另外一 个演员${\theta }^{\prime }$所采样出来的数据的话，那${\theta }^{\prime }$就只要采样一次，也许采样多一点的数据，让$\theta$去更新很多次， 这样就会比较有效率。

3. 同策略到异策略的具体实现

那么问题来了， 我们怎么找到这样的一个演员${\theta }^{\prime }$，使其收集到的数据可以用于训练$\theta$，且他们之间的差异可以被忽略不计呢？

首先我们先介绍一个名词，重要性采样（importance sampling）。 假设有一个函数$f(x)$，$x$需要从分布$p$中采样。我们应该如何怎么计算$f(x)$的期望值呢？假设分布$p$不能做积分，那么我们可以从分布$p$尽可能多采样更多的$x^i$。这样就会得到更多的$f(x)$，取它的平均值就可以近似$f(x)$的期望值。

现在另外一个问题也来了，假设我们不能在分布$p$中采样数据，只能从另外一个分布$q$中去采样数据，$q$可以是任何分布。我们从$q$中采样$x^i$的话就不能直接套下面的式子。
$$E_{x\sim p}[f(x)]\approx \frac{1}{N}\sum _{i=1}^{N}f\left(x^i\right)$$
因为上式是假设$x$都是从$p$采样出来的。如果我们想要在$q$中采样的情况下带入上式，就需要做些变换。期望值$E_{x\sim p}[f(x)]$的另一种写法是$\int f(x)p(x)dx$，不知道的童鞋可以补习一下万能的学科–数学，对其进行变换，如下式所示，
$$\int f(x)p(x)dx=\int f(x)\frac{p(x)}{q(x)}q(x)dx=E_{x\sim q}\left[f(x)\frac{p(x)}{q(x)}\right]$$
整理得下式，
$$E_{x\sim p}[f(x)]=E_{x\sim q}\left[f(x)\frac{p(x)}{q(x)}\right]$$
这样就可以对分布$q$中采样的$x$取期望值。具体来说，我们从$q$中采样$x$，再去计算$f(x)\frac{p(x)}{q(x)}$，最后取期望值。所以就算我们不能从$p$里面去采样数据，只要能够从$q$里面去采样数据，代入上式，就可以计算从分布$p$采样$x$代入$f(x)$以后所算出来的期望值。

这边是从$q$做采样，所以我们从$q$里采样出来的每一笔数据，需要乘上一个重要性权重（importance weight）$\frac{p(x)}{q(x)}$来修正这两个分布的差异。$q(x)$可以是任何分布。重要性采样有一些问题。虽然我们可以把$p$换成任何的$q$。但是在实现上，$p$和不$q$能差太多。差太多的话，会有一些问题。两个随机变量的平均值一样，并不代表它的方差一样，这里不展开解释，感兴趣的童鞋可以带入方差公式$\mathrm{Var}[X]=E\left[X^2\right]-(E[X]{)}^2$推导一下。

现在要做的事情就是把重要性采样用在异策略的情况，把同策略训练的算法改成异策略训练的算法。 怎么改呢，如下式所示，我们用另外一个策略${\pi }_{{\theta }^{\prime }}$，它就是另外一个演员，与环境做互动，采样出轨迹${\theta }^{\prime }$，计算$R(\tau )\nabla \log p_{\theta }(\tau )$。
$$\nabla {\bar{R}}_{\theta }=E_{\tau \sim p_{{\theta }^{\prime }(\tau )}}\left[\frac{p_{\theta }(\tau )}{p_{{\theta }^{\prime }}(\tau )}R(\tau )\nabla \log p_{\theta }(\tau )\right]$$
${\theta }^{\prime }$的职责是要去示范给$\theta$看。它去跟环境做互动，采样数据来训练$\theta$。这两个分布虽然不一样，但其实没有关系。假设本来是从$p$做采样，但发现不能从$p$做采样，可以把$p$换$q$，在 后面补上一个重要性权重。同理，我们把$\theta$换成${\theta }^{\prime }$后，要补上一个重要性权重 $\frac{p_{\theta }(\tau )}{p_{{\theta }^{\prime }}(\tau )}$。这个重要性权重就是某一个轨迹${\theta }^{\prime }$用$\theta$算出来的概率除以这个轨迹$\tau$用${\theta }^{\prime }$算出来的概率。

实际在做策略梯度的时候，并不是给整个轨迹${\theta }^{\prime }$都一样的分数，而是每一个状态-动作的对会分开来计算。具体可参考上一篇PG的文章。实际上更新梯度的时候，如下式所示。
$$E_{\left(s_t,a_t\right)\sim {\pi }_{\theta }}\left[A^{\theta }\left(s_t,a_t\right)\nabla \log p_{\theta }\left(a_t^n\mid s_t^n\right)\right]$$
我们用演员$\theta$去采样出$s_t$跟 $a_t$ ，采样出状态跟动作的对，并计算这个状态跟动作对的优势$A^{\theta }\left(s_t,a_t\right)$。$A^{\theta }\left(s_t,a_t\right)$就是累积奖励减掉偏置项，这一项是估测出来的。它要估测的是在状态$s_t$采取动作$a_t$ 是好的还是不好的。也就是说如果$A^{}$