- 1css css选择器的解析是从右往左的_span 从右向左
- 2【人工智能】Suno AI让普通人也可以创作音乐
- 3Python字符串前的小写字母f是什么含义和作用？_python f
- 4课堂案例代码 持续补充 文章-1
- 5ChatGPT从小白到专家之路：GPT能做什么？GPT3.5 VS GPT4 怎么选？
- 6C# 设置一个定时器函数_c#新建定时器
- 7idea配置Git以及操作_idea git配置
- 8安卓与串口通信-实践篇_android-serialport-api
- 9数据仓库的概念和作用？如何搭建数据仓库？
- 10MyBatis-Plus代码生成器（最新版适合新手跟做）_mybatisplus代码自动生成器
如何选择出最适合的backbone模型？图像分类模型性能大摸底
赞
踩
到2023年图像分类backbone模型已经拓展到了几十个系列，而有的新算法还在采用vgg、resnet做backbone，比如2022年提出的GDIP-YOLO还在用VGG16做IA参数预测，那是在浪费计算资源并限制了模型性能的提升，应该将目光放到现在的最新模型中。为此博主对现行的各种模型的性能进行一个摸底统计，具体范围包括：
PP-HGNet 系列、ResNet 系列、ResNeXt 系列、Res2Net 系列、SENet 系列、DPN 系列、DenseNet 系列、HRNet 系列、Inception 系列、EfficientNet 系列、ResNeXt101_wsl 系列、ResNeSt 系列、RegNet 系列、RepVGG 系列、MixNet 系列、ReXNet 系列、HarDNet 系列、DLA 系列、RedNet 系列、ConvNeXt 系列、VAN 系列、PeleeNet 系列、CSPNet 系列、PP-LCNet & PP-LCNetV2 系列、ViT 系列、DeiT 系列、SwinTransformer 系列、Twins 系列、CSWinTransformer 系列、PVTV2 系列 、LeViT 系列、TNT 系列、MobileViT 系列模型。具体信息参考mageNet1k/model_list.md
以PaddleClas所支持的模型为基准对现行图像分类模型进行进行一个摸底，具体分为移动端模型、桌面端模型、服务器级模型。以在imagenet数据集上的精度为准，精度在80%附近的只考虑移动端模型，精度在85%附近考虑服务器级模型，精度超过85%的都归纳为大型模型。这里不区分是否知识蒸馏、是否在外部数据集上进行预训练。
通过以下分析，发现中低端flop训练与部署环境应该考虑ReXNet与EfficientNet等系列模型，高flop训练与部署环境应该考虑CSWinTransformer、SwinTransformer等模型。同时，通过分析也发现了经典的移动端模型在逐步被一些新结构所颠覆，如ReXNet。
1、移动端模型
移动端在模型这里特指flop个mem都比较小的模型，也就是针对移动端部署对conv架构进行了局部修改的轻量化结构。常见的模型结构有mobilenet系列（v1、v2、v3,Vit）、GhostNet系列、ShuffleNet系列、PP-LCNet系列。具体的入选标准为flop低于2G，模型参数量低于40M。ImageNet acc大于75%的模型，故此将一些性能强悍的特殊模型纳入范围，如EfficientNet系列等模型。
调研结果表示，ReXNet_2_0、EfficientNetB2属于最具性价比的移动端模型。同时通过对比发现，对原有模型进行知识蒸馏相比与其原来的模型基本上都有2~4个点的精度提升，例如：GhostNet_x1_3_ssld提升4个点。以上信息还表明轻量化模型还有ReXNet、LeViT、EfficientNet系列。此外，以上表格没有统计到MobilerVit系列模型，MobilerVit系列模型，在与ReXNet系列相比，MobilerVit系列模型还是不够强
PP-LCNet系列模型是paddle团队提出的模型，其认为推理速度也是极为重要的一环，故将其与其他轻量级网络的性能进行对比。同时，也告诉我们低flop的模型，推理速度未必快。
| Model | Params(M) | FLOPs(M) | Top-1 Acc(%) | Top-5 Acc(%) | Latency(ms) |
|---|---|---|---|---|---|
| MobileNetV2_x0_25 | 1.5 | 34 | 53.21 | 76.52 | 2.47 |
| MobileNetV3_small_x0_35 | 1.7 | 15 | 53.03 | 76.37 | 3.02 |
| ShuffleNetV2_x0_33 | 0.6 | 24 | 53.73 | 77.05 | 4.30 |
| PPLCNet_x0_25 | 1.5 | 18 | 51.86 | 75.65 | 1.74 |
| MobileNetV2_x0_5 | 2.0 | 99 | 65.03 | 85.72 | 2.85 |
| MobileNetV3_large_x0_35 | 2.1 | 41 | 64.32 | 85.46 | 3.68 |
| ShuffleNetV2_x0_5 | 1.4 | 43 | 60.32 | 82.26 | 4.65 |
| PPLCNet_x0_5 | 1.9 | 47 | 63.14 | 84.66 | 2.05 |
| MobileNetV1_x1_0 | 4.3 | 578 | 70.99 | 89.68 | 3.38 |
| MobileNetV2_x1_0 | 3.5 | 327 | 72.15 | 90.65 | 4.26 |
| MobileNetV3_small_x1_25 | 3.6 | 100 | 70.67 | 89.51 | 3.95 |
| PPLCNet_x1_0 | 3.0 | 161 | 71.32 | 90.03 | 2.46 |
| PPLCNetV2_base | 6.6 | 604 | 77.04 | 93.27 | 4.32 |
| PPLCNetV2_base_ssld | 6.6 | 604 | 80.07 | 94.87 | 4.32 |
此外还有VAN、PeleeNet、CSPNet模型在设计上也算是轻量化模型，但是效果不如以上的好。
2、桌面级模型
桌面级模型在这里特指flop大于1g且低于4g，参数量低于60M的模型，也就是可以在普通的消费级GPU上进行自由训练的模型。同时，同类型的模型只列出最高精度的模型。
在上表中EfficientNet没有模型入选，这是因为其模型的siez跨度刚好不在范围内。在上表中，最佳模型任然是ReXNet
3、服务器级模型
这里为flop高与参数量正常的模型，只统计在ImageNet精度高于80%（如vgg、resnet等模型精度不达标不在此表中），Flop大于4的模型。同类型的模型，除非top1 精度大于85%，否则每类模型只保留最高精度模型。
从下图中可以看出，最具性价比的模型是CSWinTransformer_large_224与PVT_V2_B5，其中LeViT_384为乱入的模型。使用这类模型进行训练，batchsize和image size都不能设置的太大。
在PaddleClas中没有EfficientNetV2，在与上表中相比，EfficientNetV2-M在acc 85%的档次也是非常具备性价比的模型。
针对一些模型，PaddleClas提供了蒸馏后的权重，这里给出其精度信息，可以发现这类模型虽然精度高于80%，但是并不比前面未蒸馏过的模型占据优势。
4、常见模型
在上述统计中，如vgg、resnet、densenet、inception、cspdarknet、repvgg等经典模型没有上榜，这里进行一个补充。从以上统计中，也可以发现经典的模型范式已经跟不上新技术的发展了。
