热门标签
热门文章
- 1产业经济专题：产业结构高级化、合理化指数、工业化率、机构水平化及产业升级度_产业结构合理化泰尔指数计算excel
- 2【后端】django查询时的性能优化技巧
- 3基于PaddleOCR的小学生手写汉语拼音自动识别实践
- 4蚁剑高级模块开发_蚁剑jsp
- 5【Tiva_C系列】一、ARM Cortex-M4F 处理器
- 6Linux学习总结（62）——什么是堡垒机？为什么需要堡垒机？_linus壁垒机
- 7射频信号中的邻道功率比（ACPR）和占用带宽（OBW）与测量方法
- 8django连接mysql数据库_django mysql
- 9无人驾驶汽车自适应积分终端滑模轨迹跟踪控制
- 10基于Spring Boot实现的二手车交易系统
当前位置: article > 正文
LayerNorm 与 BatchNorm异同_batchnorm和layernorm的区别
作者：不正经 | 2024-04-20 16:06:34
赞
踩
batchnorm和layernorm的区别
思想与BatchNorm一致，都是通过将某一部分变为均值为0，方差为1来正则化
，并且可以通过学习参数 γ 将其变为方差/均值为任意值的参数。
不同点：
- BatchNorm是对feature即列进行归一化，而LayerNorm是对每一个batch即行进行归一化。
- batchnorm是对全局做一个均值方差，这样碰到sequence长度不一致的时候，会导致之前拟合的参数不好用了。
- layernorm则是以batch为单位计算均值方差，相对来说更加稳定。
方法：Pytorch
- x.mean(axis=, keepdim=)
- x.std(axis=, keepdim=)
声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/不正经/article/detail/458180
推荐阅读
相关标签
