基于yolov5与Arcface算法实现人脸检测并部署于开发板RK3588上以及拓展_羊脸检测 arcface

一、摘要

为协助高校学生查找教室空座分布情况和辅助教师考勤，设计基于视频监控的教室人数统计方法。由于视
频监控教室场景下的学生都是处于坐立状态，躯干部分被桌椅遮挡，无法进行全身轮廓检测，并且学生都是低头学
习，也无法选择人脸识别进行计数，而选择人头这一部位作为检测目标更加适合教室场景。首先采用YOLOv5s网
络作为人头检测识别的模型，在自制人头数据集上对网络进行训练，利用训练好的YOLOv5s网络提取不同视频监
控下人头的特征和位置信息，实现对学生人头的识别，然后针对视频和图片分别设计人头计数方法。实验结果表
明，所提出的人数统计方法能够很好地应用于教室场景中，在保证较高准确率的同时，能够实时准确地检测到摄像
头范围内多个角度的人头，进而统计当前教室的人数。

二、本课题研究背景及研究意义

人脸识别技术是目前计算机视觉巾的热门研究方向之一，已经被应用于很多领域。“抬头率”已成为判断学生的专注程度、检验课堂教学效果的重要凶素之一。设计开发了基于人脸姿态识别的学牛课堂学习状态反馈系统，完成了人脸数据集的采集、制作与训练，并增加了yolov5s训练模型的深度和宽度，在保证其速度的前提下提升了识别的准确度。在此基础上，将识别参数Conf与Iou的阈值调整到适当值，使识别结果更加清晰。实验结果表明：部署于开发板瑞芯微rk3588识别系统在不影响速度的同时提高了识别的准确度；模型的推理时间可以更快，处理器专用率得以减少，能快速识别出学生课堂的学习状态，符合课堂教学实时监测要求；对于有遮挡的人脸识别，其准确
度也能达到0.5以上，满足特殊情况下的人脸识别需求。
本文的主要研究内容是基于深度学习的学生头部姿态识别与人脸识别，通过深度学习算法分别对教室监控视频中学生的头部姿态和学生的人脸进行识别，研究结果可以辅助施教者掌握每位学生的学习状态，判断学生在学习过程中出现的问题，预测学生未来可能的发展趋势，并为定制个性化学习路径提供数据支持。量化学习作为新时代的学习范式，是推动计算机技术与教育教学深度融合的关键驱动力，是我国教育事业进步的关键推动力，同时也是我国传统教育模式中所缺乏的学习范式。因此，在科技与教育教学深度融合的新时代，研究一种识别能力更强、更适用于教室场景的卷积神经网络算法，有着较高的学术价值和研究意义。综上所述，目标检测、图像分类以及人脸识别都仍然是计算机视觉领域中的主流研究方向，而且采用卷积神经网络算法在教室场景下对学生头部姿态识别与人脸识别都具有重要研究意义。

三、国内外研究背景

1、人脸检测技术的研究现状

人脸检测是人脸信息处理中的一项关键技术，人脸识别、面部对齐、表情识别等技术都需要基于人脸检测技术确定图像中人脸的位置、大小和位姿。由于教室中人员密集，需要借助人脸检测技术获取学生人脸在监控视频中具体位置并由候选框圈出，才能进行后续的人脸识别。在现实教室场景中，由于人脸遮挡、光照情况、多尺度、姿态变化等因素的影响，人脸检测技术还存在一定的挑战。人脸检测算法可分为基于传统检测方法和基于深度学习的检测方法，其中基于传统的方法通过提取图像的特征并与人脸的面部特征相匹配的方式检测人脸，或者通过网络训练和测试图像之间获得最佳匹配的方式检测人脸。Kass 等人提出基于蛇模型(Snakes)的人脸检测方法，该方法首先会定位面部特征边界，然后在头部边界初始化并向附近的边界靠近，最后呈现出目标头部的轮廓。

2、人脸识别技术研究现状

人脸识别、指纹识别、虹膜识别以及手指静脉模式识别等都属于生物特征识别技术。生物特征识别技术主要通过采集人类生理独特的特征来进行识别，其中人脸识别是通过人的面部生理特征进行识别的。人脸识别系统首先采用人
脸检测技术检测图像中人脸的位置并框定，再使用人脸识别技术对框内面部进行识别并判断出其身份。

从 20 世纪 50 年代起，人们开始关注基于机器的人脸识别技术，并着手于将人脸识别技术应用在工程上。早期人脸识别技术主要分为整体方法、基于局部特征方法和混合方法。整体方法利用全局面部特征来进行面部识别，主要包括主成分分析(Principal Component Analysis, PCA)、线性判别分析(Linear Discriminant Analysis,LDA)、支持向量机等方法。Sirovich 等人[36]首次将 PCA 引入到人脸识别领域。为了降低面部表情、姿势以及光照等因素的影响，Gottumukkal 等人[37]提出模块化 PCA 的人脸识别算法，该算法与传统 PCA 方法在同等条件下有更高的识别
率。Chintalapati 等人[38]搭建的教室场景下的自动化考勤管理系统中，采用 LDA方法提取学生人脸的特征。但 PCA 方法和 LDA 方法都存在小样本问题。小样本问题由于训练样本太少会导致算法无法获得理想的识别率。Howland 等人[39]采用广义奇异值分解(GSVD)来规避 LDA 中非奇点的要求，使 LDA 可以直接适用于人脸识别数据，同时也解决了人脸识别中小样本问题。庄哲民等人[40]提出优化的 LDA 人脸识别算法，通过因数分解的方法解决了 LDA 中存在的小样本问题。

支持向量机是属于监督学习的一种分类器，其主要原理是对获取到的样本进行广义线性分类，并寻找样本的最优分类超平面。谢赛琴等人[41]提出采用支持向量机进行人脸分类的人脸识别方法，该方法对光照变化较强的人脸图像更具鲁棒性。Wen 等人[42]为了辨别真实面孔与欺骗面孔，提出了一种集成多个支持向量机的人脸欺骗检测方法。虽然支持向量机能够解决小样本的问题，但是处理大规模的样本还是存在一定难度，且存在计算机内存大，计算时间长的需求。

目前，深度学习方法已经被广泛地应用到人脸识别领域。深度学习主要是使用大量的数据集对网络进行训练，然后通过网络的预测和真实值的差距来反向更正网络的权重。2014年，FaceBook提出的 DeepFace[46]算法是卷积神经网路在人脸识别领域的奠基之作，该算法通过人脸检测、人脸对齐、CNN 特征提取以及分类四阶段完成了人脸识别任务。2015 年，DeepID[47]算法和 FaceNe[算法被提出，两种人脸识别算法均在人脸识别任务中表现出良好的识别效果。Grm 等人对比分析了图像质量和模型特征对 AlexNet[50]网络、VGG-Face网络、GoogLeNet网络以及 SqueezeNet[53]网络的人脸识别性能的影响。Peng等人首先通过 CNN 提取并连接局部面部斑块上的深层特征来构建高维深度局部表示，然后使用新提出的局部线性重新排名来探索有价值的信息。Lin等人提出采用基于聚类轻量化深度模型的方法进行大规模的人脸识别任务。Deng 等人提出一种附加角裕量损失(AracFace)来提升人脸识别模型的判别能力和训练的稳定性，从而获得人脸识别的高度判别特征。与传统的人脸识别方法相比，深度学习的人脸识别方法拥有准确率高、训练时间少，检测速度快的优点。基于深度学习的人脸识别技术在数字化现代社
会中拥有至关重要的地位，越来越多应用软件以及关键产品都拥有人脸识别技术。

论文的研究内容

本文利用基于深度学习的人脸检测模型、图像分类模型以及人脸识别模型，实现对教室场景下的学生头部数量统计与人脸识别，从而帮助施教者直观地了解学生的学习状态并进行身份匹配。为满足教室场景下学生头部数量统、头以及人脸识别两个模块的不同需求，同时可以将本方法部署于国产芯片瑞芯微rk3588上。本文的研究内容以及创新点可分为以下两点：
（1）由于 YOLOv5s 网络在目标检测领域表现出良好的检测结果，所以本文拟采用 YOLOv5s 网络作为教室场景下学生人脸检测与头部检测的模型。同时基于开发板部署与量化相关硬件基础考虑采用国产芯片瑞芯微rk3588；
（2）