深度学习下的微表情研究：困难、进展及趋势_如果解决微表情识别情绪不准确的问题。

一、方法

对微表情的研究，在方法上事实上类似于人脸识别，一般包含检测和识别两个具体问题。

对于人脸识别，一般都是先进行人脸检测，然后对检测到的人脸进行识别。这个过程同样也适用于微表情识别：先从一段长视频中把发生微表情的视频片段检测出来，然后识别该微表情属于哪一类微表情。

人脸检测和微表情检测

微表情检测，就是指在一段视频流中，检测出是否包含微表情，并标记微表情的起点(onset)、峰值(apex)和终点(offset)。起点(onset) 是指微表情出现的时间；峰值(apex) 是指微表情幅度最大的时间; 终点(offset) 是指微表情消失的时间。 

微表情识别是指给定一个已经分割好的微表情片断，通过某种算法，识别该微表情的情绪种类（例如厌恶、悲伤、惊讶、愤怒、恐惧、快乐等）。如同三维动态表情识别一样，其处理的对象是视频片断，而不只是单幅图像。对其处理过程中，不仅要考虑空间上的模式，还要考虑时间上的模式。所以许多微表情识别的算法都考虑了时空模式。

相对于微表情检测来说，微表情识别的难度要小一点。所以对微表情的研究一般从微表情识别开始入手。

不过对微表情的检测和定位往往会更有实用价值。如果能在一段视频中准确地检测和定位到某个时间点有微表情出现，那么就说明这个人在这个时间点上可能会有异常。

  二、数据集

事实上对于微表情研究，最难的是如何收集足够多的、质量高的微表情数据集。

目前微表情数据库并不多，已知的有：USF-HD数据库，Polikovsky数据库， SMIC数据库, CASME数据库, CASME II数据库，SAMM数据库，CAS(ME)2数据库。在这八个数据库中，前两个都是非自然诱发的，且非公开的。

另外5个数据集，CASME、CASME II、CAS(ME)2是中国科学院心理研究所傅小兰团队所建立，SMIC是由芬兰奥鲁大学赵国英团队建立。各个数据集的细节如下表所示：