Convnext总结

作者：你好赵伟 | 2024-04-14 01:14:24

踩

Convnext总结

ConvNext

ConvneXt综述:
- 基于Resnet50结构，参考swin-T的技巧与思想把resnet50改造成Convnext结构。
宏观设计
1. 将[3,4,6,3]的block结构改成了[3,3,9,3]
2. 底层的卷积替换成了44stride=4的卷积,类似于patch
3. 引入depth-wise-conv，channel从64—→96
4. 引入bottleneck结构channel为96，384，96，增大卷积核为7
5. Imagenet1K，78.8%——>80.6%
微观设计
1. Relu替换成Gelu，BN替换成LN
2. 引入更少的激活函数和归一化层
3. 采用2*2，stride=2卷积进行下采样，并在底层、下采样之前和最后的平均池化之后加入LN，使训练更加稳定
4. Imagenet1K，82%

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/你好赵伟/article/detail/419438