“随着网络加深，准确率下降”的问题学习笔记_模型网络层数增加但是预测性能降低

看到了一篇很有道理的说法
原链接
https://blog.csdn.net/weixin_39875161/article/details/94359617?utm_source=app&app_version=4.5.2

随着网络层数的增加，训练的问题随之凸显。

梯度消失／爆炸

比较显著的问题有梯度消失／爆炸，这会在一开始就影响收敛。

网络的退化问题

在深层网络能够收敛的前提下，随着网络深度的增加，正确率开始饱和甚至下降，称之为网络的退化（ｄｅｇｒａｄａｔｉｏｎ）问题。

增加层数

在给定的网络上增加层数会增大训练误差。

关于以上问题

看到了一篇详细解释
https://blog.csdn.net/qq_36396104/article/details/89459267?utm_source=app&app_version=4.5.2

浅层网络架构基础上构建深层网络

考虑一个浅层的网络架构和在它基础上构建的深层网络，在极端条件下，如果增加的所有层都是前一层的直接复制，这种情况下深层网络的训练误差应该和浅层网络相等。

网络的退化说明不是所有的系统都很容易优化，网络退化的根本原因还是优化问题。为了解决优化的难题，提出了残差网络。

随着网络的加深，出现了训练集准确率下降的现象，文献Ｈｅ Ｋ，Ｉｄｅｎｔｉｔｙ ｍＡＰｐｉｎｇｓ ｉｎ Ｄｅｅｐ Ｒｅｓｉｄｕａｌ Ｎｅｔｗｏｒｋｓ［Ｍ］ ．可以确定这不是由于过拟合（Ｏｖｅｒｆｉｔ）造成的（过拟合的情况训练集应该准确率很高）
附一个浅层神经网络的学习博客
https://blog.csdn.net/yjw123456/article/details/106042442?utm_source=app&app_version=4.5.2