文献阅读-基于图像的深度循环神经网络对驾驶疲劳脑电信号的分类_脑电疲劳数据集

基于图像的深度循环神经网络对驾驶疲劳脑电信号的分类

主要内容

• 将EEG转化为一系列拓扑保持的多光谱图像
  q: 拓扑保持是什么意思?是脑电电极的空间信息被包含在了二维图像中吗?
  a:
• 23个眼动信号和16个EEG电极采集的多模态信号
  q: 这里为什么是16个?删掉了一个吗?
  a: 删掉了一个参考电极通道CPZ。
• 使用合适频段来表征疲劳，形成颜色频段，基于等距方位投影和Clough-Tocher插值算法形成三通道图像，用二维图像代替信号作为模型的输入。
  q: 等距方位投影是什么?
  a: 等距方位投影可以保留距中心点的距离和方向。将地球上的所有点投影到一个平面上。虽然所有投影方法（赤道投影、极方位投影和斜轴投影）均可用，但使用频率最高的是极方位投影，这种投影会将所有经线和纬线划分为相等的部分，以保持等距离属性。
  q: Clough-Tocher插值算法是什么?
  a: Clough-Tocher插值常在有限元方法的文献中出现，因为其源于数值分析的有限元方法。在插值前，散点先三角形化形成临时TIN。对每个三角形定义了一个二次多项式，由一系列三角Clough-Tocher面组成一个插值面。
  
  Clough-Tocher式是由12个参数定义的三次多项式，参数如上图所示：函数值f，每个顶点的一阶导数f_x和f_y，和三角形三边中点的法向导数。顶点一阶导数可以用周围三角形的斜率平均值来估算。单个基元被三角形图心和顶点的连接线分成了三个子基元。
  如下所示的完整三次多项式被创建：
  
  针对每个子三角形都会创建此三次多项式，这能保证跨越三角形连接线和边界的斜率连续性，但二阶导数的连续性不能被保证。因为Clough-Tocher法是一个局部插值方法，其具有速度优势，很大的散点集也可以快速插值完毕。同时，该插值方法可以准确表达数据集局部趋势，创建平滑的插值面。因为TIN只能覆盖散点集凸面，所以使用Clough-Tocher法无法进行超出凸面的外插值。其他散点集凸面外的点，在进行外插时被设置为默认数值，该数值可在插值选项对话框底部输入。

算法流程

利用疲劳发生时变化较大的脑电频段(通过比较不同波段输入后的分类效果来找到最相关波段：θ[4-8Hz]、α[8-13Hz]和β[13-30Hz])，对带通滤波后的时间窗口进行快速傅里叶变换运算，计算各频段绝对值的平方和，对脑电电极测量值进行转换，它是一个二维图像。

将EEG转化为图像

疲劳发生时，脑电信号活动主要在θ[4-8Hz]、α[8-13Hz]和β[13-30Hz]波段变化。将受试者的数据过滤成3个波段，然后对窗口为0.5秒的时间序列进行快速傅里叶(FFT)运算，用16帧构建一个图像(8秒对应一个perclos指数)，计算每个波段的平方和绝对值(16*3*16=768，16通道，3波段，16帧，共885张图)
脑电图电极在头皮上的三维空间，利用等距方位投影(AEP)将三维电极位置映射到二维电极位置，图像大小是大脑皮层活动的空间分布特征。
用Clough-Tocher方案在32*32网格上插值，得到一个三维拓扑保持单色图像，红色θ，绿色α，蓝色β，用于表示脑电图在头皮上的平均活动强度。叠加形成三波段场景的三通道图像，总共合成885*23=20355张图像，用于23个受试者的模型输入。
q: 图像大小是大脑皮层活动的空间分布特征是什么意思?
a:

网络模型

通过对神经网络的全时间学习和反向传播滤波来减少分类误差
q: 上面这句话是什么意思?
a:
VGG网络用于卷积运算，卷积层的感受野设置为3*3，步幅为1px，具有ReLU激活函数，池化窗口为2*2，步幅为2px，3个堆叠卷积层(3-64)，1个最大池化层，2个卷积层(3-256)，1个ReLU，1个最大池化层。随机梯度下降(SGD)优化算法，交叉熵损失函数，batch size为16，循环次数为20，可获得最佳分类效果。
采用递归神经网络(RNN)来捕获卷积运算后的激活序列，长短期记忆网络(LSTM)是一种具有改进记忆的递归神经网络，其"遗忘门"结构允许它有选择地将信息输入到下一个单元，在256个单元的一层中获得了最好的结果。

训练

优化交叉熵损失函数
CONVNET中的权值共享导致不同层的梯度差异很大，因此在应用SGD时通常使用较小的学习率。使用Adam训练一个循环卷积网络，学习因子为10，第一和第二时刻的衰减率分别为0.9和0.999，batch size设为20，所有全连接层使用0.5的失活率。
q: 为什么卷积网络中的权值共享导致不同层的梯度差异很大?
a:
VGG系统，将dropout rate设为0.5避免过拟合，同时随机添加噪声产生的增强数据来训练网络。在特征表达中比较了模糊熵和样本熵，在分类器中比较了支持向量机、随机森林、稀疏逻辑回归和深度信念网络(DBN)。
q: 如何随机添加噪声产生的增强数据来训练网络?
a:

结果

基于图像的递归卷积神经网络对23名受试者脑电图信号分类的准确率如下图所示：

各种方法的分类精度如下图所示：

为了量化投影类型对结果影响的重要性，我们比较了使用简单的正交投影来额外生成图像进行分类和重新训练我们的网络。发现拓扑保持和非拓扑保持投影在分类结果中有1%左右的误差(非拓扑保持低1%)。将脑电图数据映射到二维图像比非空间方法保留更多的信息，非空间方法将脑电图的空间和频率信息仅作为时间序列处理。

总结

研究表明，CNN和LSTM可以作为疲劳脑机接口系统的通用分类器，但更依赖于系统的结构和配置。通过仔细选择与疲劳脑电图信号分类最相关的电极子集，可以降低输入数据的维数，提高模型的精度。