正规方程（Normal equations）推导过程_正规方程组求解推导

作者：你好赵伟 | 2024-03-21 07:38:55

踩

正规方程组求解推导

正规方程是线性回归问题中区别于梯度下降的一种求解代价函数J(θ)最小值的方法。
首先将代价函数转换为矩阵形式：
在这里插入图片描述
欲求J(θ)最小值，只需令:
$▽_\theta J(\theta) = 0$

方法二、三：（运用矩阵的导数公式）

矩阵导数公式参考：链接请添加图片描述

方法一：（运用矩阵导数与矩阵的迹的公式）

推导过程：
在这里插入图片描述
第三个等式由来：一个实数的迹即其本身。
第四个等式由来：
$1)\,\,\,\,\,\,\,\,\,\,\,\, tr A = tr A^T$
$(2)\,\,\,\,\,\,\,\,\,\,\,\,\,\, ▽_{\theta}\,y^Ty = 0$
第五个等式由来：
$3)\,\,\,\,\,\,▽_{A^T}trABA^TC = B^TA^TC^T+BA^TC$
$4)\,\,\,\,\,\, ▽_AtrAB=B^T$
最后令为0即可得到：
$\theta = (X^TX)^{-1}X^Ty$

其中式(3)由来：(由下图中2 3推得式5，即上文式(3))
在这里插入图片描述

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/你好赵伟/article/detail/279461