李沐动手学习深度学习——4.3练习

1. 尝试添加不同数量的隐藏层（也可以修改学习率），怎么样设置效果最好？

本质上就是将广度降低，增加深度，形成深度学习，使其函数更好的拟合。所以隐藏层单元应该数量减少，同时呢层数应该增多，这样子效果变好的同时，能够降低训练时间。以下是几种训练结果：

会发现层数增加了，结果更差了，因为网络模型深度了，所展示函数更为复杂，所以需要更多epoch进行训练。

2. 尝试不同的激活函数，哪个效果最好？

relu函数结果：

sigmoid函数结果：

tanh函数结果：

3. 尝试不同的方案来初始化权重，什么方法效果最好？

1. 均匀分布 torch.nn.init.uniform_(tensor, a=0, b=1)
2. 正太分布torch.nn.init.normal_(tensor, mean=0, std=1)
3. 初始化为常数torch.nn.init.constant_(tensor, val)
4. Xavier torch.nn.init.xavier_uniform_(tensor, gain=1) 和 torch.nn.init.xavier_normal_(tensor, gain=1)
5. kaiming (He initialization) torch.nn.init.kaiming_normal_(tensor, a=0, mode=‘fan_in’, nonlinearity=‘leaky_relu’)

只是尝试参数不同和不同方法之间的区别，结果如下：