当前位置:   article > 正文

行人检测(人体检测)3:Android实现人体检测(含源码,可实时人体检测)_yolov5s人体检测416

yolov5s人体检测416

行人检测(人体检测)3:Android实现人体检测(含源码,可实时人体检测)

目录

行人检测(人体检测)3:Android实现人体检测(含源码,可实时人体检测)

1. 前言

2. 人体检测数据集说明

3. 基于YOLOv5的人体检测模型训练

4.人体检测模型Android部署

(1) 将Pytorch模型转换ONNX模型

(2) 将ONNX模型转换为TNN模型

(3) Android端上部署模型

(4) 一些异常错误解决方法

5. 人体检测效果

6.项目源码下载


1. 前言

这是项目《行人检测(人体检测)》系列之《Android实现人体检测(含源码,可实时人体检测)》;本篇主要分享将Python训练后的YOLOv5的人体检测模型移植到Android平台。我们将开发一个简易的、可实时运行的人体检测Android Demo。

考虑到原始YOLOv5的模型计算量比较大,鄙人在YOLOv5s基础上,开发了一个非常轻量级的的人体检测模型yolov5s05_320。从效果来看,Android人体检测模型的检测效果还是可以的,高精度版本YOLOv5s平均精度平均值mAP_0.5:0.95=0.84354,而轻量化版本yolov5s05_416平均精度平均值mAP_0.5:0.95=0.76103左右。APP在普通Android手机上可以达到实时的检测识别效果,CPU(4线程)约30ms左右,GPU约25ms左右 ,基本满足业务的性能需求。

先展示一下Android Demo人体检测的效果

【Android APP体验】https://download.csdn.net/download/guyuealian/87441942

【项目源码下载】 行人检测(人体检测)3:Android实现人体检测(含源码,可实时人体检测)

【尊重原创,转载请注明出处】https://blog.csdn.net/guyuealian/article/details/128954615


 更多项目《行人检测(人体检测)》系列文章请参考:

  1. 行人检测(人体检测)1:人体检测数据集(含下载链接):https://blog.csdn.net/guyuealian/article/details/128821763
  2. 行人检测(人体检测)2:YOLOv5实现人体检测(含人体检测数据集和训练代码):https://blog.csdn.net/guyuealian/article/details/128954588
  3. 行人检测(人体检测)3:Android实现人体检测(含源码,可实时人体检测):https://blog.csdn.net/guyuealian/article/details/128954615
  4. 行人检测(人体检测)4:C++实现人体检测(含源码,可实时人体检测):https://blog.csdn.net/guyuealian/article/details/128954638

如果需要进行人像分割,实现一键抠图效果,请参考文章:《一键抠图Portrait Matting人像抠图 (C++和Android源码)


2. 人体检测数据集说明

目前收集VOC,COCO和MPII数据集,总数据量约10W左右,可用于人体(行人)检测模型算法开发。这三个数据集都标注了人体检测框,但没有人脸框,考虑到很多项目业务需求,需要同时检测人脸和人体框;故已经将这三个数据都标注了person和face两个标签,以便深度学习目标检测模型训练

关于人体检测数据集使用说明和下载,详见另一篇博客说明:《行人检测(人体检测)1:人体检测数据集(含下载链接)》 行人检测(人体检测)1:人体检测数据集(含下载链接)_AI吃大瓜的博客-CSDN博客


3. 基于YOLOv5的人体检测模型训练

官方YOLOv5给出了YOLOv5l,YOLOv5m,YOLOv5s等模型。考虑到手机端CPU/GPU性能比较弱鸡,直接部署yolov5s运行速度十分慢。所以本人在yolov5s基础上进行模型轻量化处理,即将yolov5s的模型的channels通道数全部都减少一半,并且模型输入由原来的640×640降低到416×416或者320×320,该轻量化的模型我称之为yolov5s05。轻量化后的模型yolov5s05比yolov5s计算量减少了16倍,参数量减少了7倍。

下面是yolov5s05和yolov5s的参数量和计算量对比:

模型input-sizeparams(M)GFLOPs
yolov5s640×6407.216.5
yolov5s05416×4161.71.8
yolov5s05320×3201.71.1

yolov5s05和yolov5s训练过程完全一直,仅仅是配置文件不一样而已;碍于篇幅,本篇博客不在赘述,详细训练过程请参考: 《行人检测(人体检测)2:YOLOv5实现人体检测(含人体检测数据集和训练代码)》https://blog.csdn.net/guyuealian/article/details/128954588


4.人体检测模型Android部署

(1) 将Pytorch模型转换ONNX模型

训练好yolov5s05或者yolov5s模型后,你需要将模型转换为ONNX模型,并使用onnx-simplifier简化网络结构

  1. # 转换yolov5s05模型
  2. python export.py --weights "data/model/yolov5s05_320/weights/best.pt" --img-size 320 320
  3. # 转换yolov5s模型
  4. python export.py --weights "data/model/yolov5s_640/weights/best.pt" --img-size 640 640

GitHub: https://github.com/daquexian/onnx-simplifier
Install:  pip3 install onnx-simplifier 

(2) 将ONNX模型转换为TNN模型

目前CNN模型有多种部署方式,可以采用TNN,MNN,NCNN,以及TensorRT等部署工具,鄙人采用TNN进行Android端上部署:

TNN转换工具:

​​

(3) Android端上部署模型

项目实现了Android版本的人体检测Demo,部署框架采用TNN,支持多线程CPU和GPU加速推理,在普通手机上可以实时处理。Android源码核心算法YOLOv5部分均采用C++实现,上层通过JNI接口调用

  1. package com.cv.tnn.model;
  2. import android.graphics.Bitmap;
  3. public class Detector {
  4. static {
  5. System.loadLibrary("tnn_wrapper");
  6. }
  7. /***
  8. * 初始化模型
  9. * @param model: TNN *.tnnmodel文件文件名(含后缀名)
  10. * @param root:模型文件的根目录,放在assets文件夹下
  11. * @param model_type:模型类型
  12. * @param num_thread:开启线程数
  13. * @param useGPU:关键点的置信度,小于值的坐标会置-1
  14. */
  15. public static native void init(String model, String root, int model_type, int num_thread, boolean useGPU);
  16. /***
  17. * 检测
  18. * @param bitmap 图像(bitmap),ARGB_8888格式
  19. * @param score_thresh:置信度阈值
  20. * @param iou_thresh: IOU阈值
  21. * @return
  22. */
  23. public static native FrameInfo[] detect(Bitmap bitmap, float score_thresh, float iou_thresh);
  24. }

如果你想在这个Android Demo部署你自己训练的YOLOv5模型,你可将训练好的Pytorch模型转换ONNX ,再转换成TNN模型,然后把TNN模型代替你模型即可。

(4) 一些异常错误解决方法

  • TNN推理时出现:Permute param got wrong size

官方YOLOv5:  https://www.wpsshop.cn/w/Gausst松鼠会/article/detail/469265

推荐阅读
相关标签
  

闽ICP备14008679号