【机器学习之---数学】拉格朗日乘子法

every blog every motto: You can do more than you think.
https://blog.csdn.net/weixin_39190382?type=blog

0. 前言

优化之
拉格朗日乘子法

1. 概念

拉格朗日乘子法是一种将约束优化问题转化为无约束优化问题的方法，如下面的优化问题：

$$minf(x)s.t.g(x)=0$$

s.t. 是subject to 的缩写，意思是，受限于，即，约束条件

因为有约束存在，无法方便求解，但是如果通过引入拉格朗日函数，

$$L(x,\lambda )=f(x)+\lambda g(x)$$

这样函数L就没有约束了，其中，$\lambda$称为拉格朗日乘子。原问题可以转化为无约束优化问题：

{ ∇ x L ( x , λ ) = 0 g ( x ) = 0 \left\{

$$\begin{matrix} \nabla_xL(\pmb{x},\lambda) = 0 \\ g(\pmb{x}) = 0 \end{matrix}$$ \right. {∇x​L(x,λ)=0g(x)=0​

第一行是${\nabla }_{x}L$ 即L对$x$的各个分量偏导都等于0，
第二行是$L$对$\lambda$的偏导等于0，这样我们就将原问题转化为无约束优化问题。

但注意此方程组只是必要条件，即这个方程组求出来的解不一定都是最优解（例如存在鞍点），但是最优解一定在里面。在一些特殊情况下，如f是凸函数，这个方程组的解就才一定是最优解。

2. 理解

为什么最优解在${\nabla }_{x}L(x,\lambda )=0,g(x)=0$解集中呢？，不妨考虑如下问题：

$$minf(x_1,x_2)s.t.g(x_1,x_2)=0$$

目标函数 $f(x_1,x_2)$ 是曲面，在xy中用等高线表示，g(x_1,x_2)是曲线，在xy中用黄线表示，

仔细想想可以发现：我们所求的在黄线约束$g(x_1,x_2)=0$
下的最优点P一定是约束曲线g=0与目标函数f的某一条等值线的切点，也就是最优点P处约束曲线的法向量 $\nabla g$
一定与该处的目标函数的梯度
共线（同向或反向，因为
的方向可正可负）。如下图所示：

如果不共线？

如下图所示，假设最优点P处，目标函数梯度$\nabla f$
与约束的法向量 $\nabla g$ 不共线，因此负梯度 $-\nabla f$
（表示f下降最快的方向）与$\nabla g$也不会共线，这样一来负梯度 $-\nabla f$ 在约束曲线g 上的切向上就存在 紫色的分量
，这就表明黄线上的P点沿此方向再挪一点，目标函数值还能进一步下降，所以当前的P点并不是最优点，与假设矛盾。

故，可用如下数学表达式：

$$\exists \lambda \in R,使得，\nabla f+\lambda \nabla g=0$$

所以拉格朗日乘子$\lambda$就是待求的一个伸缩系数，令$L(x,\lambda )=f(x)+\lambda g(x)$后，
$${\nabla }_{x}L(x,\lambda )={\nabla }_{x}f(x)+\lambda {\nabla }_{x}g(x)=0$$

同时，$g(x)=0$

参考

1. https://zhuanlan.zhihu.com/p/440297403
2. https://zhuanlan.zhihu.com/p/154517678