权重衰退-_优化器损失权重

作者：Li_阴宅 | 2024-08-06 19:54:11

踩

优化器损失权重

权重衰退

对于缓解过拟合问题，我们是可以通过收集大量数据来环节过拟合的现象。但这可能成本很高，耗时颇多，或者完全超出我们的控制，因而在短期内不可能做到。假设我们已经拥有尽可能多的高质量数据，我们便可以将重点放在正则化技术上。

在回归的例子上，我们可以通过调整拟合多项式的阶数来限制模型的容量。限制特征的数量是缓解过拟合的一种常用技术。

在此之前，我们已经描述了L2 范数和L1范数，在训练参数化机器模型时，权重衰减（Weight decay）时最广泛使用正则化的技术之一，通常也被成为L2正则化。

最常用方法是将其范数作为惩罚项加到最小化损失的问题中。将原来的训练目标最小化训练标签上的预测损失，调整为最小化预测损失和惩罚项之和。

我们通过正则化常数

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/Li_阴宅/article/detail/939049