【FER文献阅读】Deep Facial Expression Recognition: A Survey (Shan Li and Weihong Deng)

论文链接：https://arxiv.org/abs/1804.08348
参考文章：https://cloud.tencent.com/developer/news/231750
这篇是北京邮电大学模式识别实验室邓伟洪教授写的关于人脸表情识别的综述性文章，并收录于CVPR中，文章对FER的数据库、实现的具体步骤、前沿的方法以及挑战和机遇，都做出了详细的阐述，是FER入门学习的好文章。
作者主页：http://www.pris.net.cn/introduction/teacher/dengweihong

一、文章概括

文章的摘要部分指出随着FER从实验室可控环境到自然环境下的转换，以及深度学习在很多领域的成功，使得神经网络在FER上的应用越来越多。同时指出了深度FER系统关注的两个问题：一是由于缺少足够训练数据而造成的过拟合，二是与表情无关的变化如： 光照、头部姿态和身份偏差。
最早在20世纪，Ekman和Friesen通过跨文化研究，定义了6种基础表情：生气、害怕、厌恶、开心、悲伤和吃惊，随后又加入了“蔑视” 这一表情。开创性的工作和直观的定义，使该模型在自动人脸表情识别(automatic facial expression analysis, AFEA)中依然很流行。根据特征表示，FER系统可以划分为图片FER和视频FER两类。图片FER只提取当前图片的特征，而视频需要考虑相邻帧之间的关系。实际上所有计算机视觉的任务的处理对象都可以划分为图片和视频两类。FER传统的方式使用手工提取的特征和浅层学习，这种方式的弊端就不多赘述了。得益于深度学习的发展和更具有挑战性的数据集FER2013的出现，越来越多的研究者将深度学习技术运用到FER中。

二、人脸表情数据库
数据库以及方法的发展过程：

该部分总结了FER可用的公开数据集。

CK+:包括123个subjects, 593 个 image sequence。该数据库由118名受试者录制，在这593个image sequence中，有327个sequence 有 emotion的 label。除了中性外包含7种表情：愤怒、蔑视、厌恶、恐惧、高兴、悲伤和惊讶。

**MMI：**包括32个subjects，326个image sequence。213个sequence 有 emotion的 label。包含6中表情（相比较于CK+没有蔑视），MMI更具挑战性，因为很多人都戴有配饰。

JAFFE：包含213副（每幅图像分辨率为256*256）日本女性的脸部图像，包含7种表情。该数据库均为正面脸相，且对原始图像进行了调整和修剪，光照均为正面光源，但光照强度有差异。

**TFD：**改数据库是几个面部表情数据集的集合，TFD包含112234张图片(每张图片被调整到48*48大小)，所有实验对象的眼睛都是相同的距离。其中4189张有标注，包含7种表情。

**FER2013：**改数据库通过谷歌图片API自动收集，数据库中所有图片都修正了标签，将图片调整到48*48大小。包含28709张训练图像，3589张测试图像，包含7种表情。

AFEW：AFEW数据集为Emotion Recognition In The Wild Cha