【跟马少平老师学AI】-【神经网络是怎么实现的】（五）梯度消失问题

作者：很楠不爱3 | 2024-05-04 02:46:29

踩

一句话归纳：

1）用sigmoid激活函数时，BP算法更新公式为：

用sigmoid函数，O取值为0~1，O(1-O)最大值为0.25，若神经网络层数多，则会造成更新项趋近于0，称为梯度消失。

2）GooLeNet解决梯度消失的问题：

3）神经网络并不完全随着深度的增加提高正确率。

4）残差网络（ResNet）：

残差块：

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/很楠不爱3/article/detail/532671