深度学习笔记——sgd与adam与weight decay_sgd weightdecay

作者：你好赵伟 | 2024-08-08 04:15:35

踩

sgd weightdecay

https://zhuanlan.zhihu.com/p/32230623
sgd与动量无关
sgdm引入了一阶动量
adam引入了一阶动量与二阶动量
https://blog.csdn.net/program_developer/article/details/80867468
权重衰减作用于L2正则化，使参数变小，减少过拟合。
为什么参数变了可以防止过拟合，因为参数越小模型复杂度越低，对数据的拟合效果更好，同时较大的参数，无关特征的影响也会更小。

声明：本文内容由网友自发贡献，转载请注明出处：【wpsshop】