【瑞芯微RV1126(板端摄像头图像数据采集)】①使用RV1126交叉编译工具链交叉编译opencv，c++代码直接调用VideoCapture 采集图像数据_rv1126 opencv交叉编译

前言

***本系列的目的是，不仅仅将能够进行图片推理的模型部署于板端，还提供了两种摄像头数据采集的方法，集成到自己的深度学习推理代码之后，可以根据应用场景的不同实现按键控制拍照推理或者是实时推理并显示。本文仅实现图像数据采集，这篇文章有给出按键和lcd的代码。
本系列第一篇：本文
本系列第二篇：https://blog.csdn.net/m0_71523511/article/details/140583609
本系列第三篇：https://blog.csdn.net/m0_71523511/article/details/139011550
使用的开发板是实验室的板子，就是正点原子的rv1126核心板，配上其他公司开发的底板。

交叉编译是一种将软件在操作系统上进行编译，但在另一种不同的操作系统或架构上运行的技术。本文将使用Ubuntu20.04作为主机操作系统，并将OpenCV编译为在另一个目标平台上运行的库。
经过测试，rv1126开发板上的opencv似乎安装的不够完整，没法使用高级的opencv类，导致想调用VideoCapture 函数读取摄像头数据进行模型推理失败（ps：嫌交叉编译opencv麻烦的，也可以使用Linux操作系统中用于支持视频设备的框架：v4l2。参考本系列的第二篇博客）。但是v4l2真正使用起来肯定还是没有直接opencv调库方便的，所以做了本篇博客的这件事，实现ubantu交叉编译opencv，使得编译的可执行程序在板子上可以使用opencv的高级函数，简化编程。

环境

ubuntu20.04
cmake：3.22.6
交叉编译工具：gcc-arm-8.3-2019.03-x86_64-arm-linux-gnueabihf
opencv：4.5.3

一、ubantu安装

本篇博客使用ubuntu20.04，镜像下载地址：https://releases.ubuntu.com/20.04/
VMWARE安装ubuntu的教程参考：
https://www.bilibili.com/video/BV1W34y1k7ge/?spm_id_from=333.337.search-card.all.click

二、交叉编译工具安装

交叉编译是一种将软件在操作系统上进行编译，但在另一种不同的操作系统或架构上运行的技术：交叉编译器使得我们在主机上能够编译出可以在嵌入式设备上运行的程序。本文的目的也就是这个，在ubuntu编译的可执行程序放到RV1126开发板运行。
下载地址：https://developer.arm.com/downloads/-/gnu-a，进入网页往下翻找到：

这网站可能需要梯子才能进，可以在windows中下载然后传到ubantu中（filiza、u盘）。
在/home目录中新建RV1126文件夹，将此压缩包放到此文件夹中执行以下命令解压：

 xz -d gcc-arm-8.3-2019.03-x86_64-arm-linux-gnueabihf.tar.xz
 tar -xvf gcc-arm-8.3-2019.03-x86_64-arm-linux-gnueabihf.tar
1
2

解压完成后将此工具的bin文件夹目录写入到/.bashrc文件中,也就是设置环境变量：

sudo gedit ~/.bashrc           //编辑bash
export PATH=/home/wzq/RV1126/gcc-arm-8.3-2019.03-x86_64-arm-linux-gnueabihf/bin:$PATH            //将此行添加到bash的最后，注意路径要改成自己的
source ~/.bashrc           //重新执行刚修改的bash文件，使之立即生效
1
2
3

三、cmake升级

ubuntu自带cmake，但是版本过低，这里其实不升级应该也没有影响，但是以后如果想部署深度学习模型到rv1126的话还会用到ubuntu的，此时就有要求cmake的版本不能过低，所以这里直接升级。
下载地址：https://cmake.org/files/v3.22/

将此压缩包放到RV1126文件夹下，解压：

tar -zxvf cmake-3.22.6-linux-x86_64.tar.gz
1

接下来执行升级：

cd cmake-3.22.6-linux-x86_64
cd share
sudo cp -r cmake-3.22 /usr/share
cd ..
cd bin
sudo cp cmake /usr/bin/cmake
sync
cmake --version                       //执行这条命令看到cmake的版本是3.22.6的话就表示升级成功了。
1
2
3
4
5
6
7
8

四、ffmpeg安装

未安装ffmpeg的话就没法使用opencv相关读图/视频等相关功能，所以在安装opencv之前先安装ffmpeg。
下载地址：http://www.ffmpeg.org/download.html，下载3.4.13这个版本，如果能找到3.4.8最好。

同样将此压缩包放到RV1126文件夹下解压：

tar -zxvf ffmpeg-3.4.8.tar.gz
1

安装它之前需要先安装yasm汇编器，如果不装yasm的话安装过程就会报错：yasm/nasm not found or too old. Use --disable-yasm for a crippledbuild。下载地址：http://www.tortall.net/projects/yasm/releases

1）将yasm压缩包也放到RV1126文件夹中解压：

tar -zxvf yasm-1.3.0.tar.gz
1

2）进入yasm文件夹

cd yasm-1.3.0
1

3)配置yasm

./configure
1

4）编译、安装yasm

make
make install
1
2

1）yasm安装完成后进到ffmpeg-3.4.8目录下：

cd  ..
cd ffmpeg-3.4.8
1
2

2）配置ffmpeg

./configure --enable-shared --prefix=/usr/local/ffmpeg               //prefix指定安装路径
1

3）编译、安装ffmpeg

make
make install
1
2

安装完成之后应该可以在/usr/local/ffmpeg/目录下看到如下四个文件夹：

其中bin是ffmpeg主程序二进制目录，include是C/C++头文件目录，lib是编译好的库文件目录，share是文档目录。
安装完成之后需要手动将这里的lib目录链接到系统库中：

cd /etc/ld.so.conf.d 
touch ffmpeg.conf 
sudo gedit  ffmpeg.conf 
1
2
3

在打开的文件中输入：

/usr/local/ffmpeg/lib
1

保存之后终端输入：ldconfig 使配置立刻生效，此时回到/usr/local/ffmpeg/bin目录中执行：

./ffmpeg -version
1

可以看到当前ffmpeg的版本信息：

最后就是设置环境变量，否则安装opencv时会找不到ffmpeg依赖：

sudo gedit /etc/profile                        //打开文件
export PKG_CONFIG_PATH=$PKG_CONFIG_PATH:/usr/local/ffmpeg/lib/pkgconfig                    //在打开的文件最后一行添加环境变量
source /etc/profile                   //使环境变量立刻生效
1
2
3

此时ffmpeg的安装才算大功告成。

五、opencv安装

下载地址：https://opencv.org/releases/


同样将此压缩包放到RV1126文件夹下，解压并进入：

unzip opencv-4.5.3.zip
cd opencv-4.5.3
1
2

新建build文件夹并进入：

mkdir build
cd build
1
2

此时开始cmake，如果报错说格式有问题，就把所有D后的空格删了：

cmake -D CMAKE_BUILD_TYPE=RELEASE  -D CMAKE_C_COMPILER=arm-linux-gnueabihf-gcc -D CMAKE_CXX_COMPILER=arm-linux-gnueabihf-g++ -D BUILD_SHARED_LIBS=ON -D CMAKE_CXX_FLAGS=-fPIC -D CMAKE_C_FLAGS=-fPIC -D CMAKE_EXE_LINKER_FLAGS=-lpthread -ldl -D ENABLE_PIC=ON -D WITH_1394=OFF -D WITH_ARAVIS=OFF -D WITH_ARITH_DEC=ON -D WITH_ARITH_ENC=ON -D WITH_CLP=OFF -D WITH_CUBLAS=OFF -D WITH_CUDA=OFF -D WITH_CUFFT=OFF -D WITH_FFMPEG=ON -D WITH_GSTREAMER=ON -D WITH_GSTREAMER_0_10=OFF -D WITH_HALIDE=OFF -D WITH_HPX=OFF -D WITH_IMGCODEC_HDR=ON -D WITH_IMGCODEC_PXM=ON -D WITH_IMGCODEC_SUNRASTER=ON -D WITH_INF_ENGINE=OFF -D WITH_IPP=OFF -D WITH_ITT=OFF -D WITH_JASPER=ON -D WITH_JPEG=ON -D WITH_LAPACK=ON -D WITH_LIBREALSENSE=OFF -D WITH_NVCUVID=OFF -D WITH_OPENCL=OFF -D WITH_OPENCLAMDBLAS=OFF -D WITH_OPENCLAMDFFT=OFF -D WITH_OPENCL_SVM=OFF -D WITH_OPENEXR=OFF -D WITH_OPENGL=OFF -D WITH_OPENMP=OFF -D WITH_OPENNNI=OFF -D WITH_OPENNNI2=OFF -D WITH_OPENVX=OFF -D WITH_PNG=OFF -D WITH_PROTOBUF=OFF -D WITH_PTHREADS_PF=ON -D WITH_PVAPI=OFF -D WITH_QT=OFF -D WITH_QUIRC=OFF  -D WITH_TBB=OFF -D WITH_TIFF=ON -D WITH_VULKAN=OFF -D WITH_WEBP=ON -D WITH_XIMEA=OFF -D CMAKE_INSTALL_PREFIX=./outputarm  -D WITH_GTK=OFF ..
1

cmake成功之后可以看到终端会有输出，如果是以下这两种情况，那就表明opencv可以执行读取视频的操作：
情况①

情况②

如果是下面这种情况，表面安装过程有错误，或者是安装的一些东西版本不兼容：

如果是上面这种全是no的情况，还有一种方法可以试试：将/usr/local/ffmpeg/lib/pkgconfig目录下的pc文件复制到/usr/local/lib/pkgconfig目录下，不过我有试过一次，是不行的，所以最好还是在前面的安装步骤自信一点，争取安装完就有前两种情况之一。
上面成功之后开始编译和安装：

sudo make -j4
sudo make install
1
2

成功之后就大功告成了。接下来写一个简单的c++代码进行测试！

六、c++代码测试（上板运行）

这里写一个简单的代码进行测试，按下键盘的enter键拍照。
home目录下新建test文件并进入:

mkdir test
cd test
1
2

新建test.cpp和CMakeLists.txt文件：

touch test.cpp
touch CMakeLists.txt
1
2

test.cpp内容如下：

#include <iostream>
#include <opencv2/core/core.hpp>
#include <opencv2/highgui.hpp>
#include <opencv2/opencv.hpp>

using namespace std;

int main() {
    // 打开摄像头
    cv::VideoCapture cap(25);
    if (!cap.isOpened()) {
        cerr << "Error: Failed to open camera" << endl;
        return -1;
    }

    // 获取摄像头的分辨率
    int frameWidth = cap.get(cv::CAP_PROP_FRAME_WIDTH);
    int frameHeight = cap.get(cv::CAP_PROP_FRAME_HEIGHT);
    cout << "Camera resolution: " << frameWidth << "x" << frameHeight << endl;

    // 创建窗口
    cv::namedWindow("Camera", cv::WINDOW_NORMAL);

    // 读取图像并显示，等待按下 Enter 键拍照
    while (true) {
        cv::Mat frame;
        cap >> frame; // 读取一帧图像

        // 检查图像是否读取成功
        if (frame.empty()) {
            cerr << "Error: Failed to capture frame" << endl;
            //break;
            return 0;
        }


        // 检查是否按下 Enter 键
        int key = cv::waitKey(1);
        if (key == 13) { // 13 表示 Enter 键的 ASCII 码
            // 拍照并保存照片
            string filename = "photo.jpg";
            cv::imwrite(filename, frame);
            cout << "Photo saved as " << filename << endl;
            break; // 退出循环
        }
    }

    // 关闭摄像头
    cap.release();

    return 0;
}

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53

CMakeLists.txt文件内容如下：

CMAKE_MINIMUM_REQUIRED(VERSION 3.22) #指定CMake编译最低要求版本

PROJECT(test) #给项目命名

set(CMAKE_SYSTEM_NAME Linux)

# 设置opencv路径
SET(OpenCV_LIBS  /home/wzq/RV1126/opencv-4.5.3/build/outputarm/lib/)
SET(OpenCV_INCLUDE_DIRS /home/wzq/RV1126/opencv-4.5.3/build/outputarm/include/opencv4/) 

set(CMAKE_C_FLAGS "${CMAKE_C_FLAGS} -s -O3")
set(CMAKE_CXX_FLAGS "${CMAKE_CXX_FLAGS} -std=c++11 -s -O3")

#指定头文件目录
INCLUDE_DIRECTORIES(${OpenCV_INCLUDE_DIRS})

#find_library(FUNC_LIB opencv_core /home/wzq/test/lib)

#FILE(GLOB SRC_LIST_CPP ${PROJECT_SOURCE_DIR}/*.cpp)
#FILE(GLOB SRC_LIST_C ${PROJECT_SOURCE_DIR}/*.c)

ADD_EXECUTABLE(test test.cpp)

# 设置lib绝对路径库链接
link_directories(${OpenCV_LIBS})
target_link_libraries(test /home/wzq/RV1126/opencv-4.5.3/build/outputarm/lib/libopencv_core.so
                           /home/wzq/RV1126/opencv-4.5.3/build/outputarm/lib/libopencv_imgproc.so
                           /home/wzq/RV1126/opencv-4.5.3/build/outputarm/lib/libopencv_highgui.so
                           /home/wzq/RV1126/opencv-4.5.3/build/outputarm/lib/libopencv_imgcodecs.so
                           /home/wzq/RV1126/opencv-4.5.3/build/outputarm/lib/libopencv_videoio.so
                           #${FUNC_LIB}

)
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33

新建build文件夹并进入：

mkdir build
cd build
1
2

执行cmake，此时使用的就是交叉编译！再编译。

cmake  -D CMAKE_CXX_COMPILER=arm-linux-gnueabihf-g++  -D CMAKE_C_COMPILER=arm-linux-gnueabihf-gcc ..
make
1
2

此时成功的话会在build文件夹中生成一个可执行文件test！
要想在板子上可以运行这个可执行文件，还需要把用到的opencv库一并拷贝到板子上，这里就不选择了，直接把前面安装的opencv的所有库都复制上去，将build文件夹的内容也拷贝出来，opencv库的路径如下：

最终上板运行的文件内容如下：

红色是可执行程序，蓝色是build文件夹的文件，其余的就是opencv库。

上板运行
将代码传至开发板的方法有多种：
①adb
②挂载（nfs）
③远程登陆
不管使用哪种，只要能把此文件夹传至开发板端即可。进入代码文件夹：

chmod 777 test          //给予可执行权限
./test          //运行代码
1
2

此时按下enter键即可将当前摄像头画面保存为jpg文件，在当前目录下。

参考：https://www.cnblogs.com/tangjunjun/p/16527020.html