在全志V853平台上成功部署深度学习步态识别算法

北理工通信课题组辛喆同学在本科毕业设计《基于嵌入式系统的步态识别的研究》中，成功将深度步态识别算法GaitSet移植到全志V853开发板上。本研究在CASIA-B数据集上进行测试，正常行走状态下该系统的步态识别准确率达到了94.9%，背包行走和穿外套行走条件下识别准确率分别达到了87.9%与71.0%。

步态识别作为一种新兴的生物识别方式，相比于人脸识别、指纹识别等方式，具有易于适应环境、无法伪装等优点。

本文所设计的步态识别系统，搭建在全志V853开发板上，充分利用板载外设、CPU与NPU，实现了嵌入式系统上的实时步态识别系统。

具体来说，系统所采用的深度学习算法在PC端进行训练，得到的Pytorch 模型通过模型转换工具转换为V853 NPU所能运行的NB模型，模型的推理在NPU上进行。系统的整体运行过程分为前处理、模型推理、后处理与UI显示四大部分。

本系统所采用的深度学习算法绝大部分算子在板载NPU上进行推理，小部分算子在板载CPU上运算得到结果。前处理与后处理过程均在板载CPU上进行，分别采用OpenCV与Eigen运算库，其中前处理从板载摄像头采集的视频中提取步态轮廓，并将其裁剪拼接后作为NPU模型的输入数据，后处理将NPU模型运行结束得到的输出数据进行补充运算并进行特征对比，以实现身份鉴定。UI界面的显示，通过Qt生成的应用程序实现。

本研究在CASIA-B数据集上测试了NB模型的步态识别准确率。CASIA-B是一个大规模、多视角的步态识别数据集，共包含124个样本，每个样本都有10种步态序列，分为6个正常行走的序列（NM），2个身着长外套行走的序列（CL）以及2个佩戴背包行走的序列（BG）。CASIA-B注重视角的变化，在每个行走序列中又包含了11个不同的角度。将数据集中的74个样本作为训练样本，剩下的50个样本作为测试样本。

在测试集中，使用每个样本的前4个正常行走的序列作为gallery集，为了研究在不同人体轮廓下系统的性能表现，划分了3个probe集，分别为正常行走序列的最后2个序列、2个身着长外套行走的序列和2个佩戴书包行走的序列。考虑到角度对识别效果的影响，本研究在每一个角度都进行了单独测试，以验证不同角度下识别的正确率。

根据上述测试数据制作了下表，表中包含了本文设计的步态识别系统GaitCircle使用的NB模型与GaitSet模型针对相同条件下的识别准确率数据。其中NM表示正常行走状态、BG表示背包行走，CL表示穿外套行走。

除了针对步态识别准确率进行了测试，本研究也对步态识别的实时性进行了测试。对于单人步态识别，前处理的处理速度达到了每帧58ms，模型推理运行时间仅为77ms，后处理的运行时间为0.73s。

最后，本研究还进行了实时识别测试，实时识别测试是利用V853开发板上的摄像头拍摄录像，并实时进行步态识别输出行人身份的过程。在进行测试之前，V853 Tina Linux中设置了开机自启动步态识别程序，主要通过在/etc/profile文件添加运行步态识别程序的命令实现。以下视频即为实时步态识别测试的过程，已经提前在步态信息库中录入了20个人的步态特征。