- 1完美封装 tabBar 自定义加号按钮_vue 加号图标
- 2深度学习模型部署综述（ONNX/NCNN/OpenVINO/TensorRT）
- 3Linux下tar命令exclude选项排除指定文件或目录_tar cvf exclude directory
- 4win10 安装microsoft.net framework3.5
- 5Java优先队列自定义排序
- 6关于spring-boot-maven-plugin找不到的解决方法_资源管理器springrepository中没有spring-boot-maven-plugin
- 7Java - MongoTemplate 关于 MongoDB 的使用理解 - 字符串连续数据排序和 数字序号排序问题_mongodb 排序数字字符串
- 8selenium实战篇【三种方法过极验-滑动拼图验证】_安装超级鹰api
- 9非此即彼的逻辑错误_《简单的逻辑学》读书笔记
- 10微信小程序事件点击跳转页面的五种方法_微信小程序点击事件
PyTorch学习笔记（三）参数初始化与各种Norm层_instancenorm2d层初始化
赞
踩
Environment
- OS: macOS Mojave
- Python version: 3.7
- PyTorch version: 1.4.0
- IDE: PyCharm
0. 写在前面
数据在神经网络模型的层与层之间传播，数据过大或或小都会使训练遇上麻烦。合理的参数初始化和 Normalization 能够使模型中数据分布合理，让训练能够顺利地进行。
1. 初始化
PyTorch 中的 torch.nn.init 模块提供了十种初始化的方式，这里简单记录一下。
为改善梯度消失和爆炸的问题，需要保证神经网络中数据分布在合适的范围，这就是方差一致性。经典的 Xavier 和 kaiming 初始化都是从这个原则得来。
对于两个独立随机变量，它们乘积的方差为
D ( X Y ) = 方 差 的 定 义 E [ ( X Y − E ( X Y ) ) 2 ] = E [ X 2 Y 2 − 2 X Y E ( X Y ) + E 2 ( X Y ) ] = 期 望 的 线 性 性 质 E ( X 2 Y 2 ) − 2 E 2 ( X Y ) + E 2 ( X Y ) = E ( X 2 Y 2 ) − E 2 ( X Y ) D(XY) \overset{方差的定义}= E[(XY - E(XY))^2] \\ \ \\ = E[X^2 Y^2 - 2XY E(XY) + E^2(XY)] \\ \ \\ \overset{期望的线性性质}= E(X^2 Y^2) - 2E^2(XY) + E^2(XY) = E(X^2 Y^2) - E^2(XY) D(XY)=方差的定义E[(XY−E(XY))2] =E[X2Y2−2XYE(XY)+E2(XY)] =期望的线性性质E(X2Y2)−2E2(XY)+E2(XY)=E(X2Y2)−E2(XY)
因为，当 X, Y 相互独立时
E ( X Y ) = E ( X ) E ( Y ) , E ( X 2 Y 2 ) = E ( X 2 ) E ( Y 2 ) E(XY) = E(X) E(Y), E(X^2 Y^2) = E(X^2) E(Y^2) E(XY)=E(X)E(Y),E(X2Y2)=E(X2)E(Y2)
所以，
D ( X Y ) = E ( X 2 ) E ( Y 2 ) − [ E ( X ) E ( Y ) ] 2 D(XY) = E(X^2) E(Y^2) - [E(X)E(Y)]^2 D(XY)=E(X2)E(Y2)−[E(X)E(Y)]2
又因
E ( X 2 ) = D ( X ) + E 2 ( X ) , E ( Y 2 ) = D ( Y ) + E 2 ( Y ) E(X^2) = D(X) + E^2(X), E(Y^2) = D(Y) + E^2(Y) E(X2)=D(X)+E2(X),E(Y2)=D(Y)+E2(Y)<
