当前位置:   article > 正文

通过NCNN在树莓派上部署Fastest YOLO_ncnn摄像头树莓派

ncnn摄像头树莓派

前言:

最近一直在用树莓派做深度学习方面的模型部署,从最开始的直接移植官方的yolov5模型,到自己精简模型结构压缩参数再放到树莓派上跑,最后的结果总是能跑但FPS过于低,跑个图片还能接受,但是跑实时摄像头就尤其慢。

在重重受挫后,开始考虑用各种架构。最开始是用Intel的Openvino去做,但是一是部署和安装环境的过程极其艰难,其次是缺少英特尔神经棒的硬件支持,半道崩阻了。不过好在在知乎上看到了dog-qiuqiu的Fastest YOLO,大佬说该模型在树莓派上能跑到100多帧。大喜,明确结果且可行性较高,遂在磕磕碰碰中跑出了结果并且总结了许多经验,写下这篇博客以备自己后续参考。

一、系统烧录

环境:windows11、树莓派4b(8g)

1.树莓派64位镜像源:百度网盘链接:点我   提取码:k9r9

注意:这里安装的是Raspbian-64位系统,我尝试过ubuntu的系统,最后效果不是很好(而且确实在树莓派上跑ubuntu有点点卡顿),最主要的是ubuntu的话就不好用VNC Viewer来控制树莓派,那就有点得不偿失了。(VNC Viewer是真的很好用!!)

2.烧录工具:win32DiskImager

烧录的过程就很容易了在这里不演示。

3.VNC Viewer远程控制树莓派

1)首先在电脑端安装VNC Viewer:官网直接下载

windows用户直接点击中间的Download即可。下载后直接安装,安装在任意一个盘都行。

2)配制树莓派打开VNC功能:

 

 

 

 

然后关闭界面即可,现在已经开启了树莓派的vnc功能了。然后因为我用的是wifi,树莓派ip地址不怎么变动,即使变动了也很方便查看:

 或者直接将鼠标移动到树莓派桌面的右上角wifi图标处,停留几秒就会显示出IP地址。

3)远程控制

打开电脑端的VNC Viewer,第一次打开直接点击下方不注册用户 直接使用软件的按钮。然后:

 然后就能在自己的电脑上远程控制树莓派了,这种方法较为简单,而且上方还有文件传输功能,甚至能支持鼠标在树莓派和电脑之间右键复制粘贴,可谓非常好用!

二、安装OpenCV

截止到文章写作日期(2023.7.2),树莓派64位系统安装OpenCV的流程已经算是非常容易。(之前走过太多太多的弯路,试过无数种方法,都没成功,这次总算摸索出了自己的一套方法)


步骤一:

  1. #先安装opencv
  2. pip install opencv-python -i https://pypi.tuna.tsinghua.edu.cn/simple
  3. #再更新numpy
  4. pip install numpy --upgrade -i https://pypi.tuna.tsinghua.edu.cn/simple
  5. #以防万一,再安装一下libopencv-dev
  6. sudo apt install libopencv-dev

步骤二:

  1. #创建opencv.pc文件
  2. cd /usr/local/lib
  3. sudo mkdir pkgconfig
  4. cd pkgconfig
  5. sudo touch opencv.pc

然后在opencv.pc中添加以下信息,注意这些信息需要与我们安装opencv时的库路径对应,我的是这样:

  1. #先查看一下我们下载的opencv的版本号,直接在终端中输入:python,然后回车
  2. import cv2 #回车
  3. cv2.__version__ #回车后就能看到对应的版本号,我下载的版本号是4.8.0
  4. #再用nano打开opencv.pc
  5. sudo nano opencv.pc
  6. #按下ctrl+O,回车确定后,写入以下信息:注意要改版本号
  7. prefix=/usr/local
  8. exec_prefix=${prefix}
  9. includedir=${prefix}/include
  10. libdir=${exec_prefix}/lib
  11. Name: opencv
  12. Description: The opencv library
  13. Version:4.8.0
  14. Cflags: -I${includedir}/opencv4
  15. Libs: -L${libdir} -lopencv_shape -lopencv_stitching -lopencv_objdetect -lopencv_superres -lopencv_videostab -lopencv_calib3d -lopencv_features2d -lopencv_highgui -lopencv_videoio -lopencv_imgcodecs -lopencv_video -lopencv_photo -lopencv_ml -lopencv_imgproc -lopencv_flann -lopencv_core
  16. ~
  17. #再按ctrl+s保存,ctrl+x退出编辑
  18. #然后将文件导入到环境变量:
  19. export PKG_CONFIG_PATH=/usr/local/lib/pkgconfig

步骤三:

在opencv版本更新后,可以去usr/include文件夹中,找到opencv4,点进去才是opencv2,所以头文件的路径中多了一个opencv4的文件夹,我们要将opencv2的文件夹也链接到include文件夹下:

sudo ln -s /usr/include/opencv4/opencv2 /usr/include/

至此,opencv才算成功安装好。

三、编译NCNN

1.安装依赖

  1. sudo apt-get install -y gfortran
  2. sudo apt-get install -y libprotobuf-dev libleveldb-dev libsnappy-dev libopencv-dev libhdf5-serial-dev protobuf-compiler
  3. sudo apt-get install --no-install-recommends libboost-all-dev
  4. sudo apt-get install -y libgflags-dev libgoogle-glog-dev liblmdb-dev libatlas-base-dev

2.下载NCNN

git clone https://github.com/Tencent/ncnn

3.编译

  1. #先下载cmake
  2. sudo apt install cmake
  3. #再编译ncnn
  4. cd ncnn
  5. mkdir build
  6. cd build
  7. cmake ../
  8. make -j4
  9. make install

编译结束后在build目录下会出现三个文件夹:examples、install、tools,至此ncnn编译成功。

四、模型转化与测试

1.模型及权重的获取

首先从官网获得Fastest YOLO的源代码:网址链接

在自己的电脑上自己创建模型训练任务,获取权重文件,这里不上传我自己跑的模型权重,不过为了演示效果,就引用其他作者分享的权重:百度网盘链接  提取码:ogm4

下载后就能获得yolo-fastest-xl.cfg和yolo-fastest-xlweights这两个文件。

2.权重文件的转化

1)在之前下载好的ncnn文件夹中新建一个Model文件夹,将yolo-fastest-xl.cfg和yolo-fastest-xl.weights文件拷贝到该Model文件夹中。直接用cp命令也可以。

2)cd到ncnn/build/tools/darknet文件下,输入:

  1. #将模型权重转化为param和bin文件
  2. ./darknet2ncnn ../../../Model/yolo-fastest-xl.cfg ../../../Model/yolo-fastest-xl.weights ../../../Model/yolo-fastest-xl.param ../../../Model/yolo-fastest-xl.bin

3)再将yolo-fastest-xl.param和yolo-fastest-xl.bin文件拷贝到ncnn/build/tools中,并且cd到该目录下,输入:

  1. #即用ncnnoptimize优化,后面的数字代表:0指的的是fp32,1指的是fp16
  2. ./ncnnoptimize yolo-fastest-xl.param yolo-fastest-xl.bin new.param new.bin 1

4)在树莓派中同样下载一份Fastest YOLO的源代码,将new.param和new.bin复制到Yolo-Fastest-master/sample/ncnn/model目录下

5)将ncnn/build/install文件夹下的三个文件夹:bin、include、lib都复制到Yolo-Fastest-master/sample/ncnn下,如下图:

 此时,除了demo文件需要我们之后生成外,应该总共有8个文件。

6)修改demo.cpp文件

首先在头文件中加上:

#include "opencv2/imgproc/imgproc_c.h"

 再修改testCam()为:

  1. int testCam() {
  2. YoloDet api;
  3. //Init model
  4. api.init("model/new.param",
  5. "model/new.bin");

7)运行demo文件

在Yolo-Fastest-master/sample/ncnn件夹下打开终端,输入:

sh build.sh

然后等待一会儿就会出现上面那个绿色的demo文件,在终端中输入:

./demo

就能把程序运行起来,至此一个完整的流程就做完了。

8)最后还有一个线程的优化:

修改F:\cha\Yolo-Fastest-master\sample\ncnn\src文件夹下的YoloDet.cpp和include文件夹里的YoloDet.h这两个文件(这里参考生命不息,学习不止大佬 的方法):

 这样就成功用NCNN在树莓派上部署了Fastest YOLO模型了。

声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/小蓝xlanll/article/detail/140381?site
推荐阅读
相关标签
  

闽ICP备14008679号