赞
踩
目录
行人检测(人体检测)3:Android实现人体检测(含源码,可实时人体检测)
这是项目《行人检测(人体检测)》系列之《Android实现人体检测(含源码,可实时人体检测)》;本篇主要分享将Python训练后的YOLOv5的人体检测模型移植到Android平台。我们将开发一个简易的、可实时运行的人体检测Android Demo。
考虑到原始YOLOv5的模型计算量比较大,鄙人在YOLOv5s基础上,开发了一个非常轻量级的的人体检测模型yolov5s05_320。从效果来看,Android人体检测模型的检测效果还是可以的,高精度版本YOLOv5s平均精度平均值mAP_0.5:0.95=0.84354,而轻量化版本yolov5s05_416平均精度平均值mAP_0.5:0.95=0.76103左右。APP在普通Android手机上可以达到实时的检测识别效果,CPU(4线程)约30ms左右,GPU约25ms左右 ,基本满足业务的性能需求。
先展示一下Android Demo人体检测的效果
【Android APP体验】https://download.csdn.net/download/guyuealian/87441942
【项目源码下载】 行人检测(人体检测)3:Android实现人体检测(含源码,可实时人体检测)
【尊重原创,转载请注明出处】https://blog.csdn.net/guyuealian/article/details/128954615
更多项目《行人检测(人体检测)》系列文章请参考:
如果需要进行人像分割,实现一键抠图效果,请参考文章:《一键抠图Portrait Matting人像抠图 (C++和Android源码)》
目前收集VOC,COCO和MPII数据集,总数据量约10W左右,可用于人体(行人)检测模型算法开发。这三个数据集都标注了人体检测框,但没有人脸框,考虑到很多项目业务需求,需要同时检测人脸和人体框;故已经将这三个数据都标注了person和face两个标签,以便深度学习目标检测模型训练。
关于人体检测数据集使用说明和下载,详见另一篇博客说明:《行人检测(人体检测)1:人体检测数据集(含下载链接)》 行人检测(人体检测)1:人体检测数据集(含下载链接)_AI吃大瓜的博客-CSDN博客
官方YOLOv5给出了YOLOv5l,YOLOv5m,YOLOv5s等模型。考虑到手机端CPU/GPU性能比较弱鸡,直接部署yolov5s运行速度十分慢。所以本人在yolov5s基础上进行模型轻量化处理,即将yolov5s的模型的channels通道数全部都减少一半,并且模型输入由原来的640×640降低到416×416或者320×320,该轻量化的模型我称之为yolov5s05。轻量化后的模型yolov5s05比yolov5s计算量减少了16倍,参数量减少了7倍。
下面是yolov5s05和yolov5s的参数量和计算量对比:
模型 | input-size | params(M) | GFLOPs |
yolov5s | 640×640 | 7.2 | 16.5 |
yolov5s05 | 416×416 | 1.7 | 1.8 |
yolov5s05 | 320×320 | 1.7 | 1.1 |
yolov5s05和yolov5s训练过程完全一直,仅仅是配置文件不一样而已;碍于篇幅,本篇博客不在赘述,详细训练过程请参考: 《行人检测(人体检测)2:YOLOv5实现人体检测(含人体检测数据集和训练代码)》https://blog.csdn.net/guyuealian/article/details/128954588
训练好yolov5s05或者yolov5s模型后,你需要将模型转换为ONNX模型,并使用onnx-simplifier简化网络结构
- # 转换yolov5s05模型
- python export.py --weights "data/model/yolov5s05_320/weights/best.pt" --img-size 320 320
- # 转换yolov5s模型
- python export.py --weights "data/model/yolov5s_640/weights/best.pt" --img-size 640 640
GitHub: https://github.com/daquexian/onnx-simplifier
Install: pip3 install onnx-simplifier
目前CNN模型有多种部署方式,可以采用TNN,MNN,NCNN,以及TensorRT等部署工具,鄙人采用TNN进行Android端上部署:
TNN转换工具:
- (1)将ONNX模型转换为TNN模型,请参考TNN官方说明:TNN/onnx2tnn.md at master · Tencent/TNN · GitHub
- (2)一键转换,懒人必备:一键转换 Caffe, ONNX, TensorFlow 到 NCNN, MNN, Tengine (可能存在版本问题,这个工具转换的TNN模型可能不兼容,建议还是自己build源码进行转换,2022年9约25日测试可用)
项目实现了Android版本的人体检测Demo,部署框架采用TNN,支持多线程CPU和GPU加速推理,在普通手机上可以实时处理。Android源码核心算法YOLOv5部分均采用C++实现,上层通过JNI接口调用
- package com.cv.tnn.model;
-
- import android.graphics.Bitmap;
-
- public class Detector {
-
- static {
- System.loadLibrary("tnn_wrapper");
- }
-
-
- /***
- * 初始化模型
- * @param model: TNN *.tnnmodel文件文件名(含后缀名)
- * @param root:模型文件的根目录,放在assets文件夹下
- * @param model_type:模型类型
- * @param num_thread:开启线程数
- * @param useGPU:关键点的置信度,小于值的坐标会置-1
- */
- public static native void init(String model, String root, int model_type, int num_thread, boolean useGPU);
-
- /***
- * 检测
- * @param bitmap 图像(bitmap),ARGB_8888格式
- * @param score_thresh:置信度阈值
- * @param iou_thresh: IOU阈值
- * @return
- */
- public static native FrameInfo[] detect(Bitmap bitmap, float score_thresh, float iou_thresh);
- }
如果你想在这个Android Demo部署你自己训练的YOLOv5模型,你可将训练好的Pytorch模型转换ONNX ,再转换成TNN模型,然后把TNN模型代替你模型即可。
TNN推理时出现:Permute param got wrong size
官方YOLOv5: https://www.wpsshop.cn/w/Gausst松鼠会/article/detail/469265
Copyright © 2003-2013 www.wpsshop.cn 版权所有,并保留所有权利。