赞
踩
**
**
上网也查阅了许多资料,然后对比各种方法都试了一遍,归结为以下几点:
1、出现预测值都一样的情况,一般都是在某一层梯度消失了,然后导致输入到下一层的参数为0,再而后面的值都是一样的。
2、可以添加代码来查看网络训练时的参数变化
List item
for parameters in net.parameters():
print(parameters)
3、解决方案:
①在每个卷积层之后添加bn层,也要在linear层和激活层之间添加bn层,目的是对隐藏层输入数据进行归一化。
②初始化网络参数,指的是对卷积层和线性层的操作。
③在forward中先针对卷积层之后的bn层,添加maxpool层和激活函数,再是对linear层之后的bn层添加激活函数。
④注意前面的激活函数都用sigmoid,最后一层用relu。
Copyright © 2003-2013 www.wpsshop.cn 版权所有,并保留所有权利。