【计算机视觉】人脸识别中一些挑战_多个人脸识别的挑战

一、人脸识别技术概述

人脸识别是指利用分析比较人脸视觉特征信息进行身份鉴别的计算机技术，其可以定义为：输入查询场景中的静止图像或者视频，使用人脸数据库识别或验证场景中的一个人或者多个人，通常也被称为面部识别、人像识别。人脸识别具有非强制性、非接触性、并发性等特点，因此研究者在上世纪六、七十年代就开始了人脸识别技术的研究。进入九十年代后，随着高性能计算机的发展，人脸识别技术获得了重大突破。

美国国家标准技术局(NIST)举办的FRVT2006(Face RecognitionVendor Test 2006)通过大规模的人脸数据库测试表明，人脸识别技术的识别精度要比FRVT2002至少提高了一个数量级。部分识别算法的精度超过了人类的平均水平。对于高分辨率、高质量的正面人脸的识别率达到100%。

二、人脸识别技术的难点

虽然人脸识别技术经历了较长的研究阶段，但至今还是被认为是生物特征识别技术中较为困难的研究课题之一，其原因在于：

1.背景环境的复杂多样

在进行人脸识别前需要先对监控场景中的人脸进行定位，即人脸检测。人脸检测的正确与否直接影响人脸识别性能。当监控场景的背景较为复杂时，人脸检测率也会随之降低，因此能够适应复杂背景环境的人脸检测算法是人脸识别技术的难点之一。

2. 光照条件的复杂多变

在智能视频监控系统的实际应用中，会由于监控环境光线的变化造成检测到的人脸图像存在不同的阴暗变化，如图1所示。FRVT2006测试表明，不同光照条件下人脸识别虽然在性能上比FRVT2002有显著提高，但是还没在根本上克服光照对识别率的影响。

      图1 光线变化对采集到的人脸影响示意图

3. 人脸表情的多样性

在实际应用过程中，人脸的表情随时都可能发生变化。图2给出了部分表情变化的人脸图像。从图2可以看出，当人的表情发生变化时，可能会引起人脸轮廓以及纹理的变化，同时由于面部肌肉的牵引，面部的特征点的位置也会随之改变。不同的表情引起面部的变化都不同，此外，不同的人的相同表情影响也不相同，因此很难用统一的标准来精确划分各种表情对不同人的影响。

     

图2人脸表情变化多样性示意图

4.采集人脸的角度多样性

人脸的角度多样性主要是指由于拍摄角度的不同导致检测到的人脸图像的旋转，包括平面旋转和深度旋转。图3列出了部分不同角度拍摄的人脸图像。从图3可以看出，与表情变化对人脸图像的影响相同，拍摄角度的变化同样会导致人脸轮廓的变化，除此之外，由于角度的变化，可能会导致人脸的部分特征无法被正确提取，进一步导致人脸的错误识别。

      

图3 采集人脸的角度多样性示意图

5.遮挡问题

    即使是非人为故意遮挡，在实际应用时检测到的人脸图像也经常会出现如帽子、眼镜等遮挡物，除了这些，胡子以及刘海的变化也直接影响人脸的特征提取，图4举例给出了出现遮挡的部分人脸图像。当人脸图像发生遮挡时，人脸的很多信息会丢失，导致人脸识别算法出错或失效。

      

图4采集到的人脸存在遮挡物示意图

三、人脸识别系统的步骤

人脸识别系统主要包括四个组成部分：人脸图像检测、人脸识别预处理、人脸特征提取以及特征匹配与识别。

1.人脸图像检测

人脸图像检测是人脸识别过程的关键环节之一。人脸检测是指对于任意一幅给定的图像，采用一定的策略对其进行搜索以确定其中是否含有人脸，如果有，则返回检测到的人脸图像的位置、大小以及姿态。人脸检测主要利用人脸图像的直方图特征、颜色特征、模板特征、结构特征以及haar特征等。

人脸检测的难点主要在于：

(1)光照的复杂多变，图像序列中存在的人脸图像可能由于光源的照射角度或监控环境中同时存在的多个光源而导致阴影或对比度的变化，增加了检测难度，图5为光照对人脸检测影响示意图，从该图中可以看出右侧第二张人脸图像无法被正确检测，其原因在于由于光照角度问题该人脸图像的左半侧与右半侧亮度差距较大；

(2)拍摄角度以及图像清晰度，如果成像距离较远，或者图像序列分辨率较低，可能会导致人脸图像清晰度差而无法被正确检测，图6为图像清晰度对人脸检测影响示意图，从该图可以看出，图像成像距离近的人脸图像都可以被正确检测，然而最后一排的人脸图像则无法被正确检测到；

(3)人脸图像中可能存在的遮挡物，场景中的人脸图像可能由于眼镜、帽子等遮挡物而影响检测结果，除此之外，刘海、胡子的变化等也可能对人脸图像造成影响，图7为遮挡物对人脸检测影响示意图，从该图可以看出，当左侧无遮挡物的人脸图像可以被正确检测时，右侧存在遮挡物（帽子和眼镜）的人脸图像则无法被检测到；

(4)人脸复杂的细节变化，人脸的成像可能会由于表情的变化而略有不同，此外，人脸图像的角度旋转也影响人脸检测的正确检测率，图8为细节变化对人脸检测影响示意图，从该图可以看出，左侧及右侧的人脸图像都有不同程度的旋转，当中间未发生细节变化的人脸图像可以被正确检测时，发生旋转的人脸图像无法被正确检测。（图5、6、7及8的检测结果均使用haartraining训练得到的人脸检测器进行检测得到的，图片来源于网络下载）

 

图4-5 光照对人脸检测影响示意图

图4-6 图像清晰度对人脸检测影响示意图

图4-7 遮挡物对人脸检测影响示意图

图4-8 细节变化对人脸检测影响示意图

2. 人脸图像预处理

预处理是指在进行人脸识别前，为了提高识别率，通过图像处理技术对检测得到的人脸图像进行的一系列图像质量提高。这些处理主要包括灰度校正、噪声过滤、光线补偿、直方图均衡化、归一化等。

3.人脸特征提取

人脸特征提取是对人脸进行特征建模的过程，提取方法主要分为两大类：基于知识的表征方法和基于代数特征或统计学**的表征方法。目前人脸识别技术中使用的人脸特征主要包括视觉特征、人脸图像变换系数特征，人脸图像代数特征等。其中基于知识的表征方法主要是根据人脸五官的形状描述以及它们之间的距离特性来获得有助于人脸分类的特征数据，其特征分量通常是使用特征点间的欧几里得距离、曲率或角度等。基于几何特征的表征方法是指利用人脸五官之间的结构关系的几何描述进行人脸表征的方法。

4.人脸匹配与识别

匹配与识别是指利用上一步提取到的人脸特征，与样本库中存储的特征模板进行搜索匹配，在这个过程中，需要预先定义一个阈值，当相似度超过该阈值，则输出匹配结果。

四、人脸识别技术的研究现状

人脸识别方法大致可以分为两类：基于2D人脸图像的人脸识别和基于3D人脸图像的人脸识别。其中，基于2D人脸图像的人脸识别算法概括起来人脸识别方法主要分为以下几个大类：

1. 基于模板匹配的方法，其中模板可以使用固定模板和可变模板；

   
   

2.  基于知识的方法；

   
   

3.  基于统计学**的方法。

近些年，利用3D人脸信息提高识别性能得到越来越多的关注。三维人脸识别是指将采集获得的待识别对象的脸部三维形状数据作为识别依据，与库中已知身份的脸部三维形状数据进行匹配，然后得出待识别对象身份的过程。