情绪识别相关总结

---

一、情感计算的方法

  情感计算的应用非常广泛，已经在安全驾驶、健康监测方面起到了重要作用。人类的情感是由多种复杂的生理信号相互作用而形成，因此使用人工智能的方法去准确预测情感是当前情感计算领域的主要目标。情感计算的方式主要分为两大类，一类是使用身体的表面信号去预测情感，另一类是使用身体的内在生理信号去预测情感。
  情感计算的一般流程如下：

1. 使用身体信号

  身体信号包括面部表情、语言、手势、姿势等信号。这些信号都易于收集，无需进行过多的预处理，能够利用已有的机器学习方法快速预测，因此使用身体信号的情感预测已经发展了多年。但是这种方法的可靠性并不高，因为人类能够将自己真正的情绪隐藏在身体表面下，“强颜欢笑”说的就是这样的情况。

2. 使用生理信号

  人体的生理信号是情感产生的基础，利用人体生理信号去预测情感其准确度与可靠性要比使用身体信号更好。但是生理信号的采集较为困难，一方面，由于生理信号本身较为微弱，在处理时容易受环境噪声影响；另一方面，人的任何一个细微行为都会引起生理信号的变化，因此要想采集到纯净的用于表征情感的生理信号，其采集环境要求非常高。

二、情感描述模型

1. Plutchik Wheel Model

  1980 年，Plutchik提出了一种轮式模型，它包括喜悦、信任、恐惧、惊讶、悲伤、厌恶、愤怒和期待 8 种基本情绪，如图 1 所示。该轮模型根据强度描述情绪，越强 情绪在中心，而较弱的情绪在花朵盛开处。 就像颜色一样，基本情绪可以混合形成复杂的情绪。

2. PAD Model

  该模型表示情感可由三个维度构成：愉悦度（Pleasure-displeasure）、激活度（Arousal-nonarousal）与优势度（Dominance-submissiveness）。愉悦度现在也叫效价（Valenten）。

• 愉悦度P：是对愉悦/不愉悦情绪的体验，从一个极端（痛苦）通过中间点到另一个极端（狂喜）；
• 激活度A：是对活力或能量的感受，从困倦、放松到警觉、兴奋；
• 优势度D：表示个体对情景和他人的控制状态。

  比如痛苦（miserable）就是效价系统的高度激活和唤醒系统的中度激活的体验。

  上图为PAD三维情感模型，早期的心理学上使用V-A模型来表示人的情绪反应，即效价唤醒模型。此概念由美国心理学家Lisa Feldman Barrett在上世纪90年代提出，Barrett教授通过大量的实验研究表明，人们天生具有不同的效价倾向和唤醒倾向。效价倾向指的是人们能够区分积极情绪和消极情绪的能力，唤醒倾向是人们能区分高唤醒和低唤醒的程度。

  每个人具有不同的情绪颗粒度，情绪颗粒度高的人，能够区分同一个象限区域内的不同情绪，并能找到确切的语言来描述这些情绪；情绪颗粒度低的人，表达情绪更加笼统，或者是因为无法区分同一个象限区域内的不同情绪，或者是能够区分但无法用语言准确描述。一个人掌握的描述情绪的词汇多少，也会影响他的情绪颗粒度高低。

  Barrett教授实验室分析整理了大量参与实验的志愿者的情绪记录报告，发现那些拥有高的情绪颗粒度的人，精确识别出具体的情绪后，能够用相应的办法去处理它，因此可以更好的处理情绪。她在2016年3月纽约时报的一篇文章中写道：

  “那些拥有更高的情绪颗粒度的人，不仅能更好的识别出他们自己的情绪，我们的实验室还发现，人的大脑会在无意识中，构建出真正的情绪，那些掌握不同情绪概念的人能够创造出更多精细的、独特的情绪，从而促使他采取某些具体的可能行动。”

三、有关情绪识别的生理信号及其特征

1. EEG（脑电信号）

   脑电信号在情绪识别方面应用最广泛，其精确度也最高，通过脑电采集设备上的62个干电极，采集受试者的脑电信号，每个电极对应一个通道，分布在头部左右半球及前后区域（如图）。EEG信号包含功率谱密度PSD、微分熵DE、微分不对称DASM、有理不对称RASM与差分尾数DCAU等特征。研究表明，对于EEG信号，微分熵（DE）是脑电信号特征的最佳表征。

• PSD
  PSD通过对EEG信号进行短时傅里叶变换得到，获取的是EEG信号在频域上的特征：
  
  其中，X(f)是x(t)的短时傅里叶变换。

• DE
  DE相当于等长EEG信号序列的对数PSD：
  

  这里，由于离散信号服从方差为σ² ，均值为μ的正态分布，因此（1）式改为：
  

• DASM
  指的是左右半球对应电极位置EEG信号的微分熵的差：
  
  如图，左半球电极用黄色标出，右半球用绿色标出：
  

• RASM
  指的是左右半球对应电极位EEG信号微分熵的比值：
  

• DCAU
  指23对前后电极的微分熵的比值：
  
    前后电极对包括：FT7-TP7,FC5-CP5,FC3-CP3, FC1-CP1,FCz-CPZ,FC2-CP2,FC4-CP4,FC6- CP6,FT8-TP8,F7-P7,F5-P5,F3-P3,F1- P1,FZ-PZ,F2-P2,F4-P4,F6-P6,F8-P8,FP1-O1,FP2-O2,FPZ-OZ,AF3-CB1,与 AF4-CB2。

2. ECG（心电信号）

  心电信号也可做为情绪识别所需的特征之一。通过放置在人体特定部位的电极片采集心跳引起的皮肤电位的微弱变化，经过放大器后被采集装置收集，生成心电图。从ECG中可获得心率HR、心率异变性HRV等信息。这些信息多用于分析心脏相关的疾病如窦性心律不齐等*，也可用于分析情绪变化引起的心率变化，进而由心率变化推测情绪变化。

*吴恩达团队在2017年使用一个34层的卷积神经网络实现了14种窦性心律不齐的症状识别。论文空降

  日常生活中，心电信号的采集可利用通过光电容积脉搏波 (PPG) 测量血容量脉搏 (BVP)，该技术广泛用于智能穿戴设备，用于计算HRV、HR等信息。PPG 传感器使用发光二极管和光电二极管来记录脉冲波形，它几乎可以用于身体的任何部位，因为最小的浅表血管足以让传感器识别脉搏波。

  用于情绪识别的ECG信号的特征包括时域与频域上的特征，以及统计特征：

• 时域特征：心跳间隔RR、RR的均值与标准差、RR的变异系数、RR区间连续差的标准差等
• 频域特征：低频功率LF、高频功率HF以及低高频功率比（LF/HF），可表示信号的活跃程度
• 统计特征：分布特征、偏度值、熵

  但是，单纯的ECG信号不能完整反应情绪变化，因此，想要利用ECG进行分类，应当与SKT、RSP等其他生理信号结合，形成多模态的情感预测模型。

3. 其他生理信号

  其他的人体生理信号包括：GSR皮肤电响应、RSP呼吸、SKT皮肤温度，EMG肌电图等。这些生理信号均可在一定程度上反应人的情绪变化，需配合EEG或ECG信号等其他生理信号作为辅助判定情绪。

• GSR：由于人体分泌汗液或情绪引起微小的肌肉变化会导致皮肤导电性发生变化，因此GSR可用于表征部分人类情感转化。2010年日本的一项研究提出使用GSR与EMG进行情感识别，研究人员发现GSR与情绪的激活度有关，而EMG与情绪的愉悦度有关。
    2019年IEEE Access的一篇文章就利用了ECG与GSR，通过CNN提取GSR中皮肤电导性特征（SCR）与ECG中通过PPG信号采集的血容量脉冲特征（BVP）,经过全卷积网络获取其抽象特征，最终得到情感分类 结果。
  
• RSP：呼吸频率能够表明此时的心情的紧张或放松的状态，研究表明，呼吸频率的降低表明此时受测者处于放松状态；深而块的呼吸可以表示快乐或愤怒；呼吸的瞬间中断表示心情紧张；不规律的呼吸表明受测者处于低效价与低唤醒的情绪维度，例如害怕，畏惧等。
    RSP中可提取受测者的呼吸频率、幅度，并从中获得均值与标准差等统计特征。从RSP中提取的特征主要可与ECG信号结合，进行心脏疾病的分类与预测。例如，呼吸性窦性心率失常（RAS）的判定，通过计算RAS的呼吸特征，与正常RSP信号进行比对，发现RSP与RAS的相位差的斜率最能够反应受测者的呼吸状况，进而预测受测者是否患有RAS，且能预测是哪类RAS。
• SKT：SKT 可用于识别一个人是否放松。 SKT可以在指尖测量，心情放松时，扩张的血管会使指尖变热；在压力或焦虑时血管收缩，指尖变冷。SKT对情绪维度D灵敏性高，作为情绪识别的辅助特征最为合适。
• EMG：EMG 支持一维价态测量，使其成为其他一维生物信号的重要补充。 精神压力会导致交感神经系统激活，从而导致肌肉紧张，尤其是靠近颈部的上斜方肌 。在情绪识别中，面部肌电图应用最多，面部肌肉的变化是情绪变化最直观的体现（在美剧《Lie to Me》中这点思想体现的淋漓尽致。）
    利用肌电图进行情绪识别时，通常提取EMG的高阶统计（HOS）参数以及6个独立的统计参数。 HOS 特征包括偏度（其均值分布的不对称程度）和峰度（分布尾部关于正态分布的相对重度）。 统计特征包括归一化信号、原始信号的STD、原始信号和归一化信号的第一和第二差值的绝对值平均值。

参考论文：
[1]: A Review of Emotion Recognition Using Physiological Signals
[2]: Emotion Recognition from Physiological Signal Analysis: A Review
[3]: Using Deep Convolutional Neural Network for Emotion Detection on a Physiological Signals Dataset (AMIGOS)
[4]: Differential Entropy Feature for EEG-based Emotion Classification
[5]: Investigating Critical Frequency Bands and Channels for EEG-Based Emotion Recognition with Deep Neural Networks
[6]: SST-EmotionNet: Spatial-Spectral-Temporal based Attention 3D Dense Network for EEG Emotion Recognition