X86与FPGA相结合，基于PIB的AI开发——人体姿态识别

人体姿态估计是计算机视觉领域中用于理解和分析人类行为的一个关键技术。它主要涉及到检测和识别图像或视频中人体的各个关键点，并预测这些关键点之间的空间关系，从而构建出人体的骨架模型。

本文将介绍基于PIB板的人体姿态估计案例。这是一个交互式的实时人姿态识别的Openvino案例展示，它是在Intel X86 i7 CPU和 Cyclone V GT FPGA之间进行异构计算。

1. 系统组成

系统主要由一套PIB板、一套D8M + lvds TX 子卡+ LVDS线以及一台HDMI显示器组成。

PIB是一个基于Intel x86 i7 CPU和 Cyclone V GT FPGA 的智能开发平台，结合FPGA可重配置和CPU的软件可编程能力。

PIB板主要分为FPGA基板和CM模块。PIB 规格如下：

CPU

Intel 11th Core i7

HDMI x1

Ethernet x1 (I219)

USB3.0 x3, USB2.0 x1

Audio Jack x1

SATA x1, mSATAx1, M.2 for Wifi x1

RS232 x2, RS485 x1 (shared with FPGA)

20-pin GPIO Header x1 

FPGA

Serial configuration device: EPCQ256

External JTAG header

1GB DDR3 SDRAM(32-bit data bus)

Gigabit Ethernet x4

LVDS Camera x4, MIPI Camera x2

RS232 x2, RS485 x1, CAN x2

20-pin GPIO Header

9-axis sensor

FPGA_RST Button x1, KEY x2, green LED x2

Four 50MHz clock sources

FPGA基板：

CM模块：

D8M：

D8M-GPIO 是一个 2x20 pin GPIO 接口的八百万素摄像头套件。套件内包含了 MIPI Camera Module 以及MIPI decoder。

MIPI Camera module 撷取影像后输出 MIPI 影像讯号封包，该影像讯号封包经过 MIPI decoder 转换成 10-bits parallel 的 bayer pattern，最终由 2x20 pin GPIO connector 输出。MIPI Camera Module 并内建了控制焦距的音圈马达 ( Voice Coil Motor；VCM )，开发者可透过 I2C 来控制对焦距离。

lvds TX 子卡

接口转换子卡，将GPIO槽口转lvds接口。

2. OpenVINO简介

OpenVINO是Intel推出的开放可视化推理及神经网络优化工具包，运用OpenVINO 可以很轻松的将各种优化后的AI模型部署到 CPU+ FPGA上，从而降低了开发成本和开发时间，还提高了设计性能。

OpenVINO主要特点有：

• 支持在边缘设备上进行CNN深度学习推理

• 支持跨Intel计算机视觉加速器的异构加速执行，CPU，英特尔集成图形化，英特尔神经计算棒及FPG。

• 使用统一的API 通过易于使用的计算机视觉函数和预先优化的内核加速上市时间。

• 包括对OpenCV*, OpenCL™, and OpenVX*等对算机视觉标准的优化调用。

OpenVINO包含深度学习部署工具包，该工具包主要分以下两个模块：

• 模型优化器：基于Python的命令行工具从主流的深度学习框架（如caffe，TensorFlow, Apache MXNet等）导入训练过的模型。输入训练模型，优化网络拓扑，并将其转换为IR(中间表示)文件。

• 推理引擎：推理引擎使用统一的API在您选择的平台（如CPU, GPU, VPU， FPGA）等提供优化的推理解决方案，来进行异构处理和异步执行以节省开发时间。

OpenVINO工作流程：

以下是使用 OpenVINO优化并部署训练后的模型的步骤：

1. 为您的框架配置模型优化器

2. 转换训练后的模型，根据训练的网络拓扑、权重和偏置值生成模型的优化中间表示 （IR）文件

3. 通过验证应用程序或示例应用程序，在目标环境中使用推理引擎以中间表示格式测试模型

4. 在应用程序中集成推理引擎，以在目标环境中部署模型

本案例也是直接用Intel openvino预训练好的模型，将人体姿态估计demo部署到PIB的过程。

3. 硬件设计

下图所示为PIB RTL设计系统框图，CPU可通过PCIE_DMA_Ctl子系统中的PCIe Gen2 x1配置Camera子系统，LVDS camera 拍摄到的图像数据会由 Camera 子系统进行处理，然后存储到 DDR3 内存中，CPU 可通过 PCIE_DMA_Ctl 子系统中的 PCIe Gen2x4 读取 DDR3 中的图像数据。

4. 应用程序

如下是人体姿态识别的应用程序流程图：

5. 测试步骤

1. 将D8M-GPIO子卡连接到LVDS-TX子卡上。

2. 将GMSL线缆连接到LVDS-TX子卡的J2接口。

3. 将GMSL线缆的另一端连接到PIB底板的LVDS0（J4）接口。

4. 保持SW1处于OFF，然后将24V/5A电源适配器的插头插到PIB底板的DC_IN（J20）接口，开机PIB系统。

5. PIB系统启动后，显示器上会显示输入密码的界面，输入密码（terasic）进入系统桌面。

4. 视频演示

视频请参考原文：X86与FPGA相结合，基于PIB的AI开发——人体姿态识别