- 1android自定义view之---组合view_android 自定义组合view
- 2新手入门：大语言模型训练指南_大语言模型 专业词汇训练
- 3Dockerfile——ENTRYPOINT详解
- 4【机器学习】我们该如何评价GPT-4o？GPT-4o的技术能力分析以及前言探索_gpt4o的评估指标
- 5Github贡献PR六部曲_github 如何 pr
- 6前端下载包命令_下载前端环境指令
- 7SpringBoot与shardingsphere分库分表实战_springboot集成shardingsphere 实战
- 8Spring的JdbcTemplate自动关闭连接_jdbctemplate 关闭连接
- 9git clone 用户名密码_解决git每次推送仓库都要输入用户名密码的解决方案
- 10智能电饭煲设计（文档+仿真源文件）_基于51单片机多功能电饭锅控制系统的设计与实现的方框图
YOLOX、YOLOv5、Nanodet在PC与嵌入式板Atlas200DK上的推理速度测试_yolo cpu推理速度
赞
踩
前言
Nanodet和YOLOv5都是我很喜欢的检测算法，Nanodet超轻量对嵌入式设备极其友好，u版yolo训练起来速度快效果好，功能强大
前两天旷视开源了YOLOX，我看了一下算法大体和代码实现，总的来讲还是比较有新意，去掉了anchors，有点融合FCOS的意思，不过纸面上的mAP比yolov5的p6系列还是有一定差距的
不过YOLOX代码写的真不错，比u版yolo简洁多了。
以下测试均在python中完成
PC上的模型推理速度（已更新全部模型）
mAP我就不比了，这几个算法在原repo里都有coco数据集上的精度测试结果
PC配置：CPU:i7-10875H GPU:RTX2070super Max-Q
将YOLOX、YOLOv5、Nanodet仓库里的模型，对30张图片进行测速，取均值
| model | size | pytorch | onnx |
|---|---|---|---|
| YOLOXnano | 416x416 | 63.5ms | 14.9ms (27.1ms opencv) |
| YOLOXtiny | 416x416 | 88.0ms | 26.0ms (43.1ms opencv) |
| YOLOXs | 640x640 | 273.5ms | 70.6ms (130.2ms opencv) |
| YOLOXx | 640x640 | 1607.2ms | 528.6ms (750ms opencv) |
| – | – | – | – |
| YOLOv5s | 640x640 | 157ms | 58ms (134ms opencv) |
| YOLOv5s6 | 640x640 | 156ms | 67ms |
| YOLOv5x | 640x640 | 998ms | 428ms |
| YOLOv5x6 | 640x640 | 1067ms | 447ms |
| – | – | – | – |
| Nanodet_s | 320x320 | 54ms | 70ms opencv |
| Nanodet_m | 416x416 | 87ms | 119ms opencv |
pytorch列是直接用的官方demo的测速结果
onnx列是将pytorch模型转成onnx后，分别采用onnxruntime和opencv的dnn module的测速结果，因为opencv中部分onnx算子实现较慢，因此推理速度比onnxruntime慢很多
刚测了PC上yolox系列在opencv dnn上的推理速度，其中两个超轻量模型速度竟然远超nanodet，amazing！
Atlas200DK推理测速结果（已更新全部模型）
Atlas200dk配置：CPU: 8xArm Cortex A55 NPU: Ascend310（8~22TOPs算力）
由于前几天调试atlas碰到了很多坑，到现在才终于成功部署了v5和nanodet的模型，YOLOX的模型将尽量进行测试
| model | size | cann(npu) | onnx(cpu) |
|---|---|---|---|
| YOLOXnano | 416x416 | 11.5ms | 308.2ms |
| YOLOXtiny | 416x416 | 12.2ms | 763.8ms |
| YOLOXs | 640x640 | 16.5ms | 2907.3ms |
| YOLOXx | 640x640 | 62.8ms | 24268ms |
| – | – | – | – |
| YOLOv5s | 640x640 | 34.4ms | 1187ms |
| YOLOv5s6 | 640x640 | 22.7ms | – |
| YOLOv5x | 640x640 | 64.6ms | 11813ms |
| YOLOv5x6 | 640x640 | 62.7ms | – |
| – | – | – | – |
| Nanodet_s | 320x320 | 8.0ms | 170.5ms |
| Nanodet_m | 416x416 | 11.0ms | 280.0ms |
在Atlas200dk上运行yolov5x、yolox_x的模型推理速度差不多达到16FPS，与cpu相比提升了30到400倍。
根据以上模型推理时间计算，Atlas的算力差不多在3.5~4.5TFLOPS/s之间，如果使用C++做部署应该还可以再提升一些速度。
同时yolov5的p6模型在cann下的运行时间和p5模型没啥区别（甚至比p5模型还快），可以用v5的P6模型白嫖精度指标
YOLOX系列模型在PC的CPU上的推理速度一般，但是YOLOX在Atlas的NPU上运行速度与v5相比不分伯仲，使用YOLOX的nano或tiny模型替代Nanodet可以提升一些精度
过两天把YOLOX的数据放上来（不过推理速度肯定比这俩慢了）
经过测试，Atlas在cpu上推理效率一般，但是在NPU上的效果非常好，过段时间相应的P6模型出来后可以很好的替代yolov5
并且还会更新一个在Atlas上部署模型的教程，包括pytorch转onnx，onnx模型优化，atc工具将onnx转om模型，acl模型部署方法，踩到的坑巨多，都是辛酸泪啊…
（修）推理算力修正
根据YOLOX官方数据，YOLOX-x的FLOPS = 282 GFLOPS，则Atlas的算力应该是282/0.0628 = 4.27TFLOPS/s
