【最优控制笔记】——4自适应动态规划3_自适应动态规划中值迭代和策略迭代的区别

自适应动态规划

2 策略迭代

2.1离散策略迭代

策略迭代与值迭代的异同

值迭代通过先给定值函数V，策略迭代先给定控制率u

两者原理上类似，都采用控制率u更新迭代，使V最终收敛的方式逼近最优性能指标

2.1.1原理：

初始给定一个容许控制率$u_0(x_k)$，可以得到性能指标：

$V_0(x_k)=g_D(x_k,u_0(x_k))+V_0(f_D(x_k,u_0(x_k)))$

可以得到迭代控制率：

u 1 ( x k ) = argmin ⁡ u k { g D ( x k , u k ) + V 0 ( x k + 1 ) } u_1(x_k)=\underset{u_k}{\operatorname*{argmin}}\{g_D(x_k,u_k)+V_0(x_{k+1})\} u1​(xk​)=uk​argmin​{gD​(xk​,uk​)+V0​(xk+1​)}

进一步地，可以按照以上过程得到$i=1,2,...,K$步的性能指标：

$V_i(x_k)=g_D(x_k,u_i(x_k))+V_i(f_D(x_k,u_i(x_k)))$

获得控制率：

u i + 1 ( x k ) = argmin ⁡ u k { g D ( x k , u k ) + V i ( x k + 1 ) } u_{i+1}(x_k)=\underset{u_k}{\operatorname*{argmin}}\{g_D(x_k,u_k)+V_i(x_{k+1})\} ui+1​(xk​)=uk​argmin​{gD​(xk​,uk​)+Vi​(xk+1​)}

可以证明$V_i$是单调非增的序列，因此$V_{\infty }$存在，并且有迭代近似值函数收敛至值函数：

${\lim }_{i\to \infty }{V}_i(x_k)=V(x_k)$

2.1.2 说明：

对于任意初始控制率$u_0$，上述策略迭代过程得到的控制率$u_i(x_k)$都是稳定控制。且迭代近似值函数$V_i(x_k)$是单调非增的序列。

证明稳定：

迭代的近似值函数可以表示为：

$V_i(x_k)={\sum }_{l=0}^{\infty }{g}_D(x_{k+l},u_i(x_{k+l}))$

其是正定的，那么根据近似性能指标有：

V i ( x k + 1 ) − V i ( x k ) = V i ( x k ) − g D ( x k , u i ( x k ) ) − V i ( x k ) = − g D ( x k , u i ( x k ) ) < 0

$$\begin{aligned} V_i(x_{k+1})-V_i(x_k)& =V_i(x_k)-g_D(x_k,u_i(x_k))-V_i(x_k) \\ &=-g_D(x_k,u_i(x_k))<0 \end{aligned}$$ Vi​(xk+1​)−Vi​(xk​)​=Vi​(xk​)−gD​(xk​,ui​(xk​))−Vi​(xk​)=−gD​(xk​,ui​(xk​))<0​

其是稳定控制。

证明单调非增：

即证明$V_{i+1}(x_k)\le V_i(x_k)$，可以通过：

证明中间函数${\Gamma }_{i+1}(x_k)\le V_i(x_k)$，再证明$V_{i+1}(x_k)\le {\Gamma }_{i+1}(x_k)$即可。

2.2 连续策略迭代

主要区别是性能指标从累加变成了积分！

对系统：

$\dot{x}=A(x)+B(x)u$

其性能指标（实际用的时候争取能写成以下二次型形式）：

$J(x)={\int }_0^{\infty }g(x,u)dt={\int }_0^{\infty }(x^{T}Qx+u^{T}Ru)dt$

(因为二次型$\ge 0$的形式，可以求极小值)

值函数为：

$V(x)=\min J(u;x)$

其HJB方程为：

0 = min ⁡ u { g ( x , u ) + d V ( x ) d x ⋅ ( A ( x ) + B ( x ) u ) } 0=\min_u\{g(x,u)+\frac{dV(x)}{dx}\cdot(A(x)+B(x)u)\} 0=minu​{g(x,u)+dxdV(x)​⋅(A(x)+B(x)u)}

其是偏微分方程，很难求解析解

→策略迭代方式求近似解：

过程：

类似地，初始一个容许控制$u_0$，使其满足：

$0=g(x,u_0)+\frac{d{V}_0(x)}{dx}\cdot (A(x)+B(x)u_0)$

有：

u 1 = arg ⁡ min ⁡ { g ( x , u ) + d V 0 ( x ) d x ⋅ ( A ( x ) + B ( x ) u ) } u_1=\arg\min\{g(x,u)+\frac{dV_0(x)}{dx}\cdot(A(x)+B(x)u)\} u1​=argmin{g(x,u)+dxdV0​(x)​⋅(A(x)+B(x)u)}

进一步地，迭代可得$i=1,2,...,K$时，有：

$0=g(x,u_i)+\frac{d{V}_i(x)}{dx}\cdot (A(x)+B(x)u_i)$

u i + 1 = arg ⁡ min ⁡ { g ( x , u ) + d V i ( x ) d x ⋅ ( A ( x ) + B ( x ) u ) } u_{i+1}=\arg\min\{g(x,u)+\frac{dV_i(x)}{dx}\cdot(A(x)+B(x)u)\} ui+1​=argmin{g(x,u)+dxdVi​(x)​⋅(A(x)+B(x)u)}

当$u_i=u_{i+1}$成立，则迭代求解完成。

连续策略迭代稳定性：