pytorch 批量归一化BatchNorm的BatchNorm1d和BatchNorm2d理解_python batchnorm2d

BatchNorm即批量归一化，是深度学习中经常用到的加速神经网络训练，加速收敛速度及稳定性的算法，是神经网络训练必不可少的一部分。

BatchNorm作用：在进行批量训练过程中，每个batch具有不同的分布，使数据分布发生变化，对下一层网络的学习带来困难。BatchNorm将数据拉回到均值为0，方差为1的正态分布上，一方面使得数据分布一致，另一方面避免梯度消失。

1. BatchNorm1d

公式：

函数：

torch.nn.BatchNorm1d(num_features, eps=1e-05, momentum=0.1, affine=True) 

1
2

参数意义：
num_features: 输入维度，即数据的特征维度；
eps：公式中分母上的小e，是为了防止分母为0的情况，让其能正常计算；
momentum：滑动平均的参数，用来计算running_mean和running_var。默认为0.1；
affine：一个布尔值，设为true时，给该层添加可学习的仿射变换参数，将γ,β分别初始化为1和0；

作用：BatchNorm1d一般用于处理一维数据（channel=1），对num_features做归一化处理，即** 对batch内所有样本的同一维度特征进行归一化 **
图示：

2. BatchNorm2d
   函数：

torch.nn.BatchNorm2d(num_features, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True, device=None, dtype=None)

1
2

作用：BatchNorm2d一般用于处理二维数据，** 对batch内所有样本的同一通道的特征进行归一化 **

图示：

• 参考链接：链接