李沐72_深度学习优化算法——自学笔记

作者：小小林熬夜学编程 | 2024-04-30 15:36:37

踩

李沐72_深度学习优化算法——自学笔记

使用迭代优化算法求解，一般只能保证找到局部最小值。

1.如果代价函数f是凸，且限制集合C是凸，那么就是凸优化问题，局部最小一定是全局最小

2.严格凸优化问题有唯一的全局最小

1.线性回归

2.softmax

其他均是，MLP、CNN、RNN、attention…

最简单的迭代求解算法

比梯度下降成本低

1.计算单样本的梯度很难完全利用硬件资源

使用平滑过的梯度对权重更新，beta的常见取值[0.5,0.9,0.95,0.99]

1.深度学习模型大部分是凸

2.小批量随机梯度下降是最常用的优化算法

3.冲量对梯度做平滑

4.Adam对梯度做平滑，且对梯度各个维度值做重新调整

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/小小林熬夜学编程/article/detail/514007