强化学习 PPO算法和代码_ppo算法参数

PPO 效果

前提

τ ~ p(τ) 是轨迹分布
t∈[0,T-1] 是一条轨迹的步骤数
策略 π 是动作 a 的概率分布

State-Action Value Function 简称 V(st) 函数

$$V^{\pi }(s_t)=E_{\tau \sim p(\tau )}[R({\tau }_{t:T})|{\tau }_{s_t}=s_t]$$
$$V^{\pi }(s_t)=E_{\tau \sim p(\tau )}[r(s_t)+\gamma r_{t+1}+{\gamma }^2{r}_{t+2}+...]$$
V(st)函数的贝尔曼方程：
$$V^{\pi }(s_t)=E_{\tau \sim p(\tau )}[r(s_t)+\gamma V^{\pi }(s_{t+1})]$$

State-Action Value Function 简称 Q(st,at) 函数

它定义为环境在状态st智能体在策略π控制执行动作at的条件下， 能获得的期望回报值：
$$Q^{\pi }(s_t,a_t)=E_{\tau \sim p(\tau )}[R({\tau }_{t:T})|{\tau }_{a_t}=a_t,{\tau }_{s_t}=s_t]$$
$$Q^{\pi }(s_t,a_t)=E_{\tau \sim p(\tau )}[r(s_t,a_t)+\gamma r_{t+1}+{\gamma }^2{r}_{t+2}+...]$$
$$Q^{\pi }(s_t,a_t)=E_{\tau \sim p(\tau )}[r(s_t,a_t)+\gamma V^{\pi }(s_{t+1})]$$
这里有两个随机变量 st 和 at ,其中由于