Batchnorm 和Layernorm 区别

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档

---

一、Batchnorm

BatchNorm，一般用于CV任务，是把一个batch（N张图片）中同一通道的特征，将其标准化。可以理解为对Batch中的所有图的每一层像素进行标准化。

---

二、Layernorm

LayerNorm，一般用于NLP任务中，是把batch中的一个样本（一个句子）在当前层的所有特征，将其标准化。可以理解为对一个句子的整体进行标准化。

---

三、总结

由于二者的所应用的任务不同其特征维度也存在差异，图像对比会产生误解，在此用文字描述更利于理解。