devbox
IT小白
这个屌丝很懒，什么也没留下！
关注作者
热门标签
热门文章
当前位置:   article > 正文

深度学习之优化算法_优化算法目的

作者：IT小白 | 2024-04-14 03:40:02

赞

踩

优化算法目的

入门小菜鸟，希望像做笔记记录自己学的东西，也希望能帮助到同样入门的人，更希望大佬们帮忙纠错啦~侵权立删。

目录

一、优化算法与深度学习

1、优化算法对于深度学习的意义

2、优化算法与深度学习的关系

3、优化算法在深度学习中的主要挑战

（1）局部最小值

（2）鞍点

二、深度学习中优化算法的常见算法

1、梯度下降

（1）批量梯度下降（BGD）

（2）随机梯度下降（SGD）

（3）小批量随机梯度下降（MBGD）——最常用的梯度下降算法

2、动量法

（1）背景与引入原因

（2）原理

（3）优缺点

3、AdaGrad算法（自适应梯度）

（1）背景与引入原因

（2）原理

（3）优缺点

4、RMSProp算法（均方根传递算法）

（1）背景与引入原因

（2）原理

（3）优缺点

5、AdaDelta算法

（1）原理

（2）优缺点

6、Adam算法

（1）原理

（2）优缺点

三、总结

四、常用优化算法的代码调库实现

一、优化算法与深度学习

1、优化算法对于深度学习的意义

       深度学习中的优化问题通常指的是：寻找模型上的一组参数θ，它能显著地降低（最小化）代价函数J(θ)，通常也有采取最大化问题转化为最小化问题再优化的方法。

       优化算法直接影响模型的训练效率。

2、优化算法与深度学习的关系

优化算法的目的：降低训练误差；

深度学习的目的：降低泛化误差；

因此深度学习需要优化算法+应对过拟合。

3、优化算法在深度学习中的主要挑战

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/IT小白/article/detail/419995
推荐阅读
相关标签

Copyright © 2003-2013 www.wpsshop.cn 版权所有，并保留所有权利。