全连接网络的局限性_全连接网络的不足

作者：2023面试高手 | 2024-06-10 07:57:43

踩

全连接网络的不足

大图片输入到全连接网络中后会有什么效果，我们分析一下。

如果只有两个隐藏层，每层256个节点，则MNIST数据集所需要的参数是（28*28*256+256*256+256*10）个w，再加上（256+256+10）个b。

一图像变大导致色彩数变多，不好解决

如果换为1000像素？仅一层就需要1000*1000*256，约等于2亿个w（可以把b都忽略）。

这只是灰度图，如果是RGB的真彩色呢？再乘以3后，则约等于6亿。如果想要得到更好的效果，再加上一个隐藏层，可以想象，需要学习参数量将非常多的，不仅消耗大量的内存，同时也需要大量的运算，这显然不是我们想要的结果。

二不便处理高维度数据

对于比较复杂的高维度数据，如按照全连接的方法，则只能通过增加节点、增加层数的方式来解决。而增加节点会引起参数过多的问题。因为由于隐藏层神经网络使用的是Sigmoid或Tanh激活函数，其反向传播有效层数也只能在4到6层左右。所以，层数再多只会使反向传播的修正值越来越小，网络无法训练。

而卷积神经网络使用了参数共享的方式，换一个角度来解决问题，不仅在准确率上大大提升，也把参数降下来。

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/2023面试高手/article/detail/697839