过拟合问题（以及如何正则化）_过拟合正则化系数怎么调

作者：盐析白兔 | 2024-04-01 18:14:31

踩

过拟合正则化系数怎么调

一、过拟合定义

更好的拟合训练集，但是泛化能力较弱，泛化是指应用到新样本的能力。

即保存所有变量，但是减少量级或者参数θ_j的大小；因无法选择缩小特定的参数，只可选择缩小所有的参数，即将代价函数改变如下：

注：λ是用来平衡等式右边两个式子，从而更好地去拟合训练集的目标，若λ设立过大，所有参数都趋于0，则假设模型会欠拟合。

（1）仍利用梯度下降进行拟合，在原本的θj减去（学习率*偏导）的基础上再减去变量参数的偏导

注：通常学习率α很小，而m很大，所以（1-αλ/m）是一个接近于1的数，θ*（1-αλ/m）即是将θ向0的方向缩小了一点点，θj变小了一点点，进而θj的平方范数变小了

（2）用正规方程，首先建立一个设计矩阵X

不可逆问题（选学）

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/盐析白兔/article/detail/349772