基于动态空间滤波的受损EEG信号的鲁棒性学习_dsf实验数据处理

文章来源于微信公众号（茗创科技），欢迎有兴趣的朋友搜索关注。

 

导读

利用实验室环境外记录的脑电建立机器学习模型需要对噪声数据和随机丢失通道具有鲁棒性的方法。这一需求在处理稀疏脑电蒙太奇(1-6个通道)时尤其强烈，且经常会在消费级或移动脑电设备中遇到。无论是传统的机器学习模型还是对EEG进行端对端训练的深度神经网络，通常不会设计或测试对破坏的鲁棒性，尤其是对随机丢失的通道。虽然一些研究提出了使用丢失通道的数据的策略，但当使用稀疏蒙太奇和计算能力有限(例如，可穿戴设备、手机)时，这些方法并不实用。为了解决这个问题，研究者提出了一个多头注意模块——动态空间滤波(dynamic spatial filtering, DSF)，可以将其插入到神经网络第一层之前，通过学习聚焦于好的通道并忽略坏的通道来处理丢失的EEG通道。研究者在EEG公开数据上测试了DSF，该数据包含4,000条带有模拟通道损坏的记录，以及一个包含100条带有自然损坏的移动 EEG家庭记录的私人数据集。研究者提出的方法在不应用噪声时实现了与基线模型相同的性能，但存在严重通道损坏时准确度优于基线模型29.4%。此外，DSF输出是可解释的，使得实时监控有效通道重要性成为可能。这种方法有可能在通道破坏阻碍大脑信号读取环境中实现对EEG的分析。

引言

脑电图(EEG)因足够经济广泛应用于大脑功能和健康研究，包括睡眠监测、病理筛查、神经反馈、脑机接口和麻醉监测。近期移动EEG技术的发展使得这些应用从实验室和病房更易应用于家庭和门诊，为脑电应用普及提供了潜力，并使现实世界中的大脑健康研究发生了革命性的变化。然而，在这些新的环境中，可用电极的数量往往是有限的，信号质量更难控制。此外，随着这些设备的可用性越来越高，产生的数据量现在已经超过了人类专家(例如神经学家、睡眠技术人员等) 分析和手动注释每一条记录的能力，这是在研究和临床环境中的传统做法。因此，需要促进临床和研究应用的新方法，特别是在稀疏脑电蒙太奇的情况下。因此，急需促进临床和研究应用，尤其是在稀疏脑电蒙太奇应用的新方法。

近几十年来，使用机器学习自动进行脑电分析一直是许多研究的主题。然而，最先进的EEG预测管道通常以受控良好的条件下记录的数据集作为基准，与来自移动EEG的数据相比，这些数据集相对干净。因此，目前还不清楚为实验室数据设计的模型将如何处理现实世界中的信号。这对于移动EEG记录尤其重要，与大多数研究级和临床级记录相比，移动EEG记录可能包含不同数量的可用通道以及整体噪声更大的信号。此外，研究和移动设置之间的通道数量差异也意味着，考虑到移动EEG设备有限的空间信息，离线插值坏通道(如在密集电极蒙太奇的记录中)可能会失败。另一个挑战是脑电数据的质量并非静态，而是在给定记录中可能会有很大的变化。这表明预测模型应该动态处理噪声。理想情况下，机器学习管道不仅应该产生对EEG中(不断变化的)噪声源产生鲁棒性预测，而且它们还应该以一种可解释的方式做到这一点。例如，如果噪音很容易识别，实验者或用户可以在记录过程中迅速采取纠正措施。

并非所有噪声源都以相同的方式影响EEG记录。生理伪迹是由大脑外部的电流源产生的大的电信号，例如心脏活动、眼睛或舌头运动、肌肉收缩、出汗等。根据EEG电极的蒙太奇和记录环境(例如，睁眼或闭眼)，这些伪迹可能或多或少扰乱对大脑活动的测量。另一方面，运动伪迹是由脑电电极相对于头皮的相对位移引起的，在运动过程中会在受影响的电极中引入不同频谱含量的噪声。如果电极不能与皮肤正确连接(例如，产生运动伪影之后或电极最初没有正确设置)，其读数很可能包含少量或根本不包含生理信息，而是拾取仪器和环境噪声。在文献中，它们通常被称为“不良的”或“缺失的”通道。在本文中，研究者将它们称为“受损通道”，以明确包括用预测模型来解释信号破坏机制的情况(例如，在不受控环境中的主动噪声源)。虽然通道损坏在所有情况下都会影响EEG记录，但在真实世界的移动EEG记录中更有可能发生，在受控的实验室环境中，经过训练的实验人员可以在记录过程中监控和修复损坏的电极。因此，必须特别注意稀疏移动EEG环境中的通道损坏问题。

在本文中，研究者基于“注意力尺度”的概念，提出并评估了一个用于处理损坏通道数据的注意机制模块。该模块可以插入到任何卷积神经网络结构的第一层之前，其中激活具有空间维度，再通过端到端训练后用于预测任务。

本文其余部分结构如下。第二部分对脑电噪声处理的文献进行了概述，然后描述了本研究中提出的注意模块和去噪步骤。第三部分介绍了实验中使用的神经结构、基线方法和数据。接下来，第四部分报告了在睡眠和病理脑电数据集上的实验结果。最后，研究者在第五部分检查了相关工作并讨论了实验结果。

方法

EEG信号去噪处理的最新方法

现有的处理噪声数据的策略可以分为三类（表1）。(1)忽略或拒绝噪声段，(2)隐式去噪，即允许模型在有噪声的情况下工作的方法，以及(3)显式去噪，即在预测前依靠单独的预处理步骤来处理噪声或缺失通道的方法。现在更详细地讨论采用这些策略的现有方法。

处理EEG噪声最简单方法是假设噪声可以忽略不计，或舍弃坏段。例如，手动选择振幅或方差阈值或经训练的分类器识别伪迹，可用于识别要忽略的片段。这种方法虽然很常见，但不适用移动EEG环境。因为无法假设噪声可以忽略不计，而且也不适用于需要连续提供模型预测的在线应用。此外，这种方法很可能会因为一小部分坏的电极而丢弃时间窗，因而可能会丢失其他通道的可用信息。

隐式去噪方法可用于设计不含特定噪声处理步骤的噪声鲁棒处理管道。首先，隐式去噪方法可以使用对缺失通道具有鲁棒性的EEG数据表示。例如，多通道EEG可以转化为地形图（"topomaps"），其对少数通道的缺失不敏感。之后，这一表征通常被输入一个标准的卷积神经网络（ConvNet）结构。虽然这种方法可以较好地处理密集蒙太奇中的缺失通道，但它在稀疏蒙太奇（如4通道）中可能表现不佳，因为如果通道缺失，空间插值可能会失败。另外，此方法需要高计算要求的预处理和特征提取步骤，这在在线和计算资源较低的情况下不可取。在传统的机器学习环境中，Sabbagh等人表明，将输入窗口表示为协方差矩阵，并使用黎曼几何感知模型，不需要普通的噪声校正步骤，就能在大脑年龄预测任务中达到很高的性能。然而，这种方法的鲁棒性还未在稀疏蒙太奇上进行评估。另外，由于几何感知的深度学习仍然是一个活跃的研究领域，它与神经网络架构的整合并不简单。信号处理技术也可以用来促进对某些类型噪声的恒定性。例如，Lomb-Scargle周期图可用于提取对缺失样本具有鲁棒性的频谱表示。然而，当通道完全丢失时，这种方法就无法发挥作用。最后，隐式去噪可以通过对噪声具有内在鲁棒性的传统机器学习模型来实现。例如，在意识状态预测任务上，手动设计EEG特征上训练的随机森林对低信噪比输入的鲁棒性明显高于单变量模型。这种方法虽然很有前景，但也受到其特征处理步骤的限制，（1）重度依赖领域知识，（2）可能不是任务的最佳选择，以及（3）需要一个额外的处理步骤，这在资源背景有限的情况下可能无法实现。

多项研究通过纠正受损信号或从可用通道中预测缺失或额外的通道来处理噪声。空间投影方法旨在将信号投射到通道空间前，把输入信号投射到一个无噪声的子空间，例如，使用独立成分分析（ICA）或主成分分析（PCA）。虽然像ICA这样的方法是通过半自动化的方式减轻伪迹和噪声成分的有力工具，但当只有少数通道可用时，其功效会减弱。例如，除了引入额外的预处理步骤外，这些方法因为与预测任务脱钩，很可能在预处理期间丢失重要的鉴别信息。另外，预处理独立于监督学习任务或统计测试程序进行，使得预处理参数的选择（例如，良好成分的数量）具有挑战性。在参数选择挑战的激励下，提出了全自动去噪途径。FASTER和PREP都将伪迹校正、噪声去除和坏导插值结合到一个自动管道中。Autoreject是另一个近期开发的方法，利用交叉验证来自动选择振幅阈值，用于拒绝窗口或标记坏导。这些方法非常适用于对感兴趣信号形态的离线分析，但是它们通常对计算要求很高，而且与统计建模也是脱钩的。此外，目前还不清楚如何在诸如多导睡眠监测和癫痫监测中使用双极蒙太奇（即不共享同一参考）时应用插值。

最后，已经提出通用的机器学习模型来恢复坏导。例如，训练生成对抗网络（GANs）以从几个电极中恢复密集EEG蒙太奇。也提出了其他的类似方法，例如长短时记忆（LSTM）神经网络，自动编码器，或张量分解和压缩感应。但是，这些方法的前提是提前识别出坏导，在实践中这是一个重要的假设。

与现有关于EEG通道损坏处理的文献相比，研究者引入了一种可解释的端对端去噪方法，它可以隐形地学习处理受损的稀疏EEG数据，并且不需要额外的预处理步骤。

动态空间滤波：噪声EEG信号的二阶注意学习

动态空间滤波（DSF）背后的关键目标是给定EEG特定机器学习任务时，帮助神经网络在每个时间点上关注最重要的通道。为此，研究者引入了一种空间注意机制，根据通道的预测能力动态地重新加权。这一想法受到最近注意力机制发展的启发，特别是计算机视觉中提出的“尺度注意力”方法。DSF利用二阶信息，即空间协方差，来捕捉EEG通道之间的依赖关系。在这一部分中，将详细介绍所研究的学习问题、提出的注意力架构和旨在帮助训练噪声鲁棒模型的数据增强变换。

符号  用[q]表示{1,…,q}。指数t表示多变量时间序列S∈RC×M，M是时间样本数量，C是EEG通道数量。S被进一步划分为不重叠窗口X∈RC×T，T是窗口中时间样本数量。用y∈Y表示学习任务中使用的目标。通常，对一个有L个类别的分类问题，Y表示为[L]。

研究者在有监督的分类环境中进行实验。模型fΘ: X→Y，参数Θ（如卷积神经网络）被训练来预测EEG窗口X的类别y。为此，在示例-标签对（Xi,Yi）训练fΘ以最小化L的损失，如分类交叉熵损失：

 研究者对fΘ在随机通道受损时的性能尤其感兴趣。具体来说，即当通道损坏发生在测试时（当训练数据是大部分是干净的）。为实现这一目标，研究者插入了一个基于注意力的模块mDSFF：RC×T→RC’×T到fΘ中，该模块执行Φ(X)变换，从X中提取相关的空间信息，然后对输入信号进行重新加权。

为了隐性处理神经网络结构中的噪声，研究者设计了一个注意力模块，从输入中提取二阶信息并用于预测输入EEG通道线性变换的权重，从而优化学习任务（图1）。将这种线性变换应用于多变量EEG信号的方法通常被称为“空间滤波”。这一技术已被广泛用于EEG领域。这使模型能够学会忽略噪声输出并/或对它们进行重新加权，同时利用所有剩余的空间信息。研究者展示了这个模块如何应用于原始输入X。

将DSF模块mDSF定义为：

其中WDSF属于RC’×C，bDSF∈RC’通过重塑神经网络输出，如多层感知（MLP）来获得，hΘDSF（Φ(X)）∈RC’×（C+1）（见图1）。在这一公式下，WDSF中的每一行都对应于一个空间滤波，它将输入信号线性转换为另一个虚拟通道。这里，C’可以被设置为输入空间通道的数量C，或者被认为是注意力模块的一个超参数。当C=C’，如果WDSF对角为0，WDSF基于C–1在每个通道进行线性插值，正如经典EEG文献中通常的做法一样（深入讨论见附录F）。在WDSF中，严重受损的通道可以通过赋值一个为0的权重而忽略这些通道。为促进这一做法，可以对WDSF进一步应用软阈值元素的非线性：

其中τ是经验定义为0.1的阈值，|·|是元素绝对值，符号和最大运算符都是按元素进行应用。

在本实验中，由变换Φ(X)提取的空间信息是（1）每个输入通道的对数方差或（2）X的协方差矩阵的矩阵对数扁平化上三角部分（见附录A）。在报告结果时，当DSF将对数方差或协方差矩阵的矩阵对数作为输入时，将模块分别表示为DSFd和DSFm。进一步添加后缀“-st”表示使用软阈值非线性，如DSFm-st。

有趣的是，DSF模块可以视为一个有实值注意权重的多头注意机制，每个头的任务是产生输入空间信号的线性组合。

最后，可以通过计算“有效通道重要性”检查mDSF分配给每个通道的注意。φ∈RC。

直观地说，φ衡量每个输入通道被mDSF用来产生输出虚拟通道的程度。归一化的版本也可以用来获得一个在0和1之间的值。这种检查DSF模块功能的直接方法有利于识别重要或噪声通道。

为进一步帮助该模型学习噪声鲁棒性，研究者设计了一个随机受损坏导的数据增强程序。通道损坏通过对输入通道和高斯白噪声进行掩膜通道凸组合来模拟，Z∈RC×T，其中Zi,j~N(0,σ2n)，i∈[T]，j∈[C]，η∈[0,1]控制噪声的相对强度，ν∈{0,1}C是控制通道损坏的遮蔽向量。运算符diag(x)创建了一个由零组成的方形矩阵，其对角线为向量x。此处，ν是从参数为p的多元化分布中取样。每个窗口X使用随机参数σn~U(20,50)μV，η~U(0.5,1)，以及p固定为0.5，单独进行破坏。

计算考量

在训练深度神经网络时，研究者设置了以下超参数：优化器、学习率计划、批次大小、正则化强度（训练epochs数、权重衰减、丢弃）和参数初始化方案。在所有实验中，研究者使用AdamW优化器，β1=0.9，β2=0.999，学习率为10-3，余弦退火。所有神经网络参数都使用均匀He初始化随机初始化。丢弃以50%比率应用于fΘ的全连接层，权重衰减应用于fΘ和hΘDSF中所有层的可训练参数。此外，在训练过程中，对损失进行加权以优化平衡精度。一些超参数在特定数据集的基础上进行调整，并与数据集一起描述（即权重衰减和批处理量）。

深度学习和基线模型使用了braindecode、NE-Python、PyTorch、pyRiemann、mne-features和scikit-learn软件包组合进行训练。最后，深度学习模型在1或2个Nvidia Tesla V100或P4 GPU上进行数分钟到7小时的训练，具体时间取决于数据量、早停法以及GPU配置。

实验

下游任务

研究者通过两个常见的EEG分类下游任务来研究噪声的鲁棒性：睡眠分期和病理检测。首先，睡眠分期是睡眠监测的一个关键步骤，可以对包括呼吸暂停和嗜睡症在内的睡眠障碍进行诊断和研究。这个5类分类问题包括在不重叠的30s夜间记录窗口中预测一个人处于哪个睡眠阶段（W（醒）、N1、N2、N3（不同程度的睡眠）或R（快速眼动期））。虽然已提出大量机器学习方法来进行睡眠分期，但对受损通道还未进行过全面处理，因为通道受损发生的可能性在临床和实验室环境中比在这里考虑的真实世界环境中更小。

第二，病理检测任务旨在从个体EEG中检测出神经系统疾病，如癫痫和痴呆。在简化表述中，这就产生了一个二元分类问题，即必须将记录分类为病理性或非病理性。这些记录通常是在控制良好的环境下进行（例如在医院），噪声源可以由专家实时监测和降低。为了测试移动EEG采集背景下的病理检测性能，与以往工作不同，研究者使用了一组有限的电极。

在3.3中讨论实验所用数据时，这两个任务会进一步阐述。

比较方法

研究者将提出的DSF和数据增强方法的性能与其他既定的方法进行了比较总共对比了三种机器学习管道的组合和三种不同的噪声处理策略。研究者考虑了以下机器学习管道：(1)从原始信号进行端对端的深度学习（有或无DSF模块），(2)滤波库协方差矩阵与黎曼切空间投影及逻辑回归（这里称之为“黎曼”），以及(3)手动设计特征和随机森林（RF）。

使用卷积神经网络结构作为fΘ深度学习管道（附录B）。对病理检测，使用Robin等人(2017)中的浅层网络结构，其对频带共同空间模式（FBCSP）管道进行了参数化。并在没有修改结构的情况下进行使用，当C=6时，总共产生了13482个可训练参数。对于睡眠分期，研究者使用了一个3层的卷积神经网络，它将30s的窗口作为输入，当C=4、输入采样频率为100Hz时，共有18457个可训练参数。最后，在评估DSF时，在每个神经网络的输入层之前添加了mDSF模块。mDSF的输入维数取决于所选择的空间信息提取变换Φ（X）：C（对数方差）或C（C+1）/2（矢量协方差矩阵）。将mDSF的隐藏层大小固定为C2单位，而输出层大小则取决于所选择的C’。DSF模块在fΘ的基础上根据不同配置，增加了420到2,864个可训练参数。

黎曼管道首先对输入的EEG施加一个滤波组，产生由（0.1、1.5、4、8、15、26、35、49）Hz为界的7个频带的窄带信号。接下来，使用OAS算法估计每个窗口和频段的协方差矩阵。然后将协方差矩阵投射到其黎曼切线空间，利用Wasserstein距离来估计作为参考点的平均协方差。维度为C(C+1)/2的矢量协方差矩阵最后通过训练集的平均值和标准差进行Z-score归一化，并送入一个线性逻辑回归分类器。

受Lukas等人(2020)和Denis等人(2018)的启发，手动设计特征基线取决于21种不同的特征类型。平均数、标准差、均方根、峰度、偏度、量值（10、25、75和90）、峰-峰振幅、（0、2、4、8、13、18、24、30、49）Hz之间的频率对数功率带以及它们所有可能的比率、频谱熵、近似熵、SVD熵、Hurst指数、Hjorth复杂性、Hjorth流动性、线长、小波系数能量、Higuchi分形维度、零交叉数、SVD费雪信息和锁相值。这使每个EEG通道有63个单变量特征，以及双变量特征，这些特征被串联成一个大小为63×C+的单一向量（例如，C=6为393）。如果在一个窗口的特征表征中出现非无限值，利用在训练集计算的特征平均值来估算缺失值。最后，特征向量被送入一个随机森林模型。

当传统管道应用于病理检测实验时，因为每个记录都有一个单一的标签（即，病理或非病理），研究者把输入的表征按记录汇总。为此，在协方差矩阵上使用几何平均数，在手动设计特征上使用中位数。另一方面，深度学习模型是在非集合窗口上训练的，但其性能是通过对每个记录中的窗口进行平均预测来评估记录的。逻辑回归和随机森林模型的超参数选择见附录C。

研究者将上述机器学习方法与下列噪声处理策略相结合：(1)无去噪，即直接在数据上训练模型，不进行显性或隐式去噪；(2)Autoreject，自动校正方法；(3)数据增强，在训练中随机受损通道。

Autoreject是一个去噪途径，它以完全自动化的方式精确处理噪声epoch和通道。首先，使用交叉验证程序找到最佳的通道峰-峰振幅阈值，分别识别每个窗口中的不良通道。如果有超过κ个不良通道，那么该epoch就被拒绝。否则，就利用球面样条插值的好通道重建最多ρ个不良通道。在病理检测实验中，因为分类是按记录进行，允许Autoreject拒绝坏的epoch。然而，对于睡眠分期实验，研究者没有拒绝epoch，因为每个epoch需要一个预测，但仍然使用Autoreject来自动识别和插值坏导。在这两种情况下，除了将交叉验证设置为5，所有参数均使用Python中提供的默认值。

最后，数据增强包括在训练期间人为破坏通道，来促进缺失通道的不变性。在训练神经网络时，数据增强转换被即时应用到每个批次。对基于特征的方法，研究者通过对每个窗口进行多次增强（病理检测10次，睡眠分期5次），预先计算出增强的数据集，然后从增强的窗口提取特征。

数据

研究者通过三个数据集比较了各种方法（表2）：在TUH异常的EEG数据集中进行病理检测，在Physionet Challenge 2018数据集和移动EEG记录的内部数据集上进行睡眠分期。

TUH异常EEG数据集v2.0.0（TUAB）包含2,993份15分钟及以上的记录，这些记录来自2,329名在医院中接受临床EEG检查的不同患者。根据详细的医生报告，每份记录被标记为“正常”（1385份）或“异常”（998份）。大多数记录的采样频率为250赫兹，由27至36个电极组成。语料库已被分为训练组和评估组，分别有2130和253条记录。所有记录的平均年龄是49.3岁（最小：1，最大：96），53.5%的记录是女性患者。TUAB数据集经以下方法进行预处理。剔除每段记录的第一分钟，以去除录音开始时的噪音数据。对较长的文件进行裁剪，使记录最长为20min。然后，选择所有记录中常见的21个通道（Fp1，Fp2，F7，F8，F3，Fz，F4，A1，T3，C3，Cz，C4，T4，A2，T5，P3，Pz，P4，T6，O1 和 O2）。EEG通道降采样至100Hz，并在±800μV处剪切。最后，提取6s的非重叠窗口，产生大小为（600×21）的窗口。在TUAB上训练深度学习模型，批次大小为256，权重衰减为0.01。

Physionet Challenge 2018数据集（PC18）

Physionet Challenge 2018 (PC18)数据集总共包含了来自1,983名不同（疑似）睡眠呼吸暂停患者的记录，对EEG、EOG、下颏EMG、呼吸气流和氧饱和度进行了整晚监测。双极EEG通道F3-M2、F4-M1、C3-M2、C4-M1、O1-M2和O2-M1以200Hz的频率进行记录。按照AASM手册，从7位经训练的评分员处获取睡眠阶段的注释（W、N1、N2、N3和R）。将分析集中在994份记录的子集上，这些注释可以公开使用。在这个数据子集中，平均年龄为55岁（最小：18岁，最大：93岁），33%的受试者是女性。对PC18，首先使用30Hz的FIR低通滤波和Hamming窗对EEG进行过滤，以拒绝对睡眠分期不重要的高频波。然后对EEG通道以2～100Hz进行降频，减少输入数据的维度。最后，提取不重叠的30s窗口（3000×6）。PC18中的实验使用批次大小为64，权重衰减为0.001。

Muse睡眠数据集（MSD）

最后，在真实世界的移动EEG数据上测试了本研究中的方法，这些数据中通道损坏很可能自然发生。研究者使用InteraXon公司(加拿大多伦多）的Muse S脑电图设备收集夜晚睡眠记录的内部数据集。这些数据是在用户同意使用Muse头带时的隐私政策（2020年7月）后收集的，该政策确保了用户在EEG数据用于科学研究方面的知情同意权。Muse S是一个四通道干式EEG设备（TP9、Fp1、Fp2、TP10，参考Fpz），采样率为256 Hz。Muse头带曾用于事件相关电位研究、大脑性能评估、大脑发育研究、睡眠分期和中风诊断等领域。从InteraXon公司的Muse客户匿名数据库中选取了67位独特用户的98份部分和完整的夜间记录（平均持续时间：6.3小时），并由经培训的评分员按照AASM手册进行了注释。尽管推导结果与多导睡眠图中使用的常见蒙太奇不同，但识别睡眠阶段所需的典型微观结构，如睡眠主轴、K复合体和慢波，在所有四个通道中都可以看到。因此，睡眠阶段的注释是从实际EEG活动中获得的，而非从眼睛或肌肉的伪影中获得。所有记录的平均年龄为37.9岁（最小：21岁，最大：74岁），45.9%的记录为女性用户。MSD数据的预处理与PC18相同，但有以下区别。(1)通道下采样为128Hz，(2)使用周围有效样本的线性插值取代缺失值（当蓝牙数据包丢失时），(3)在过滤和下采样后，与原始缺失值重叠的样本被替换为零，以及(4)通道被零均值窗口化。研究者在MSD实验中使用批次规模为64，权重衰减为0.01。

研究者将TUAB、PC18和MSD的可用记录分为训练、验证和测试，用于测试的记录就不用于训练或验证。对于TUAB，研究者使用提供的评估集作为测试集。开发集中的记录被分成80-20%的训练集和验证集。因此，在训练、验证和测试集中分别使用了2171、543和276条记录。对于PC18，使用了60-20-20%的随机分割，在训练、验证和测试集中分别有595、199和199条记录。最后，对于MSD，保留了17个受损最严重的记录作为测试集（附录D），并将剩下的81个录音随机分成训练集和验证集（分别为65和16个录音）。这样做是为了模拟训练数据大部分是干净的，而在测试时意外发生强烈的通道损坏的情况。研究者对每一个数据集都使用了交叉验证策略，对合并的训练和验证集进行超参数选择。

在不同的训练-验证集上重复训练（PC18为两次，TUAB和MSD为三次）。神经网络和随机森林都以不同初始化参数在TUAB和MSD的每个部分训练三次（在PC18上训练两次）。TUAB和PC18中，训练最多运行40个epochs，或直到验证损失停止下降至少7个epochs（考虑到数据集的规模较小，MSD最多为150个epochs，忍受设定为30）。

最后，利用准确率评估病理检测实验的模型性能，而平衡准确率（bal）即每类平均召回率，则由于重要的类别不平衡（N2类通常比其他类更频繁），用于睡眠分期。

噪声条件下的评估

噪声对下游性能和预计DSF滤波的影响分三步进行评估。首先，通过与本研究中的数据增强策略类似的过程，人为破坏TUAB和PC18的输入EEG窗口（公式6）。使用的η、σ和p值相同，但在每个记录中使用单一的掩码ν，这样，在整个记录中受损的通道集保持不变。在破坏之前，对几个EEG通道进行了子采样，以重新创建TUAB（Fp1，Fp2，T3，T4，Fz，Cz）和PC18（F3-M2，F4-M1，O1-M2，O2-M1）的稀疏蒙太奇设置。然后研究者分析了在不同的噪声水平条件下的下游性能。其次，在最干净的记录上训练本研究中的模型，并在噪声最大的记录中评估其性能后，在真实受损数据（MSD）上进行了实验。最后，分析了经训练的模型的一个子集所预测的DSF滤波权重的分布。

讨论

通道受损时现有方法性能下降

标准EEG分类方法在通道受损时的表现如何？如果通道在测试时受损的概率很高，能否通过增加更多的通道来代偿噪声？为了回答这些问题，研究者测量了三种基线方法的性能（黎曼几何学、手动设计特征和“vanilla”网，如没有注意力的浅层网络），通道被人为破坏后，这些方法会在三个不同的蒙太奇上进行病理检测任务的训练。结果如图2所示。

三种基线方法的表现相似，随着噪声增强（图2A）和受损通道增多（图2B），性能出现较大下降。首先，在噪声逐渐增大的条件下，增加更多通道一般不会提高性能。而增加通道甚至阻碍了模型处理噪声。事实上，噪声对双通道模型的影响比6个或21个通道模型的影响要小得多。香草网在低噪声条件下的表现略好于其他方法，但在使用21通道时，对重度噪声的鲁棒性较差。

第二，当受损通道增多时（图2B），尽管比预期结果小得多，但使用更密集的蒙太奇能够提高性能。例如，在21个通道的模型中，丢失一个或两个通道只导致性能的轻微下降，而在较稀疏的蒙太奇上训练的模型则损失了高达30%的准确性。然而，在15个通道仍然可用时（即6个受损通道），尽管可以获得更多空间信息，但在21个通道上训练的模型比没有任何通道受损的2或6通道模型表现更差。有趣的是，当模型在21个通道上训练时，传统基于特征的方法在一定程度上比香草网对损坏的鲁棒性更强，但这在更稀疏的蒙太奇中并不成立。

这些结果表明，即使有更密集的蒙太奇，标准方法仍不能以满意的水平处理显著的通道损坏。因此，需要更好的工具来训练噪声鲁棒性模型。

图2

注意力和数据增强可减轻通道损坏时的性能损失

如果包含额外EEG通道并不能解决通道损坏时的性能下降问题，那么可以通过什么方法来提高标准EEG分类方法的鲁棒性呢？研究者评估了模型与三种去噪方法（见3.2）结合使用时的性能，即固定的6通道蒙太奇。病理检测（TUAB）的结果见图3。

在没有去噪时，所有方法的性能都随噪声的增强（图3A）或通道破坏增多（图3B）而急剧下降。当噪声强度增加时，自动噪声处理（第二列）减少了方法之间的差异（图3A），当只有一个或两个通道受损时，自动噪声处理有助于小幅提高鲁棒性（图3B）。然而，只有在数据增强的情况下，才能获得明显的性能改善，使所有方法在噪声最大的环境中表现得更好（第三栏）。然而，在低噪声条件下，传统基线的性能有所下降。相比之下，神经网络的性能在不同噪声强度和损不良通道数量中都有最大的提高。当使用其他方法从无噪声到最强噪声时，它们的性能至少下降了34.6%，而使用数据增强训练神经网络时，性能损失平均减少到5.3-10.5%。DSF模型比香草浅层网络进一步提高了性能，例如，在不同的噪声强度下产生了1.8-7.5%的改进。最后，增加矩阵对数和软阈值非线性（DSFm-st，洋红）比DSFd产生了边际改善。在强噪声破坏下(η=1），表现最好的模型（DSFm-st+数据增强）比没有去噪的香草网络准确性改善了29.4%。总的来说，这一结果表明同时学习端对端预测和处理通道损坏是成功提高鲁棒性的关键。

图3

接下来，研究者在使用PC18数据集的睡眠分期任务中重复这一分析（图4）。如上所述，不使用去噪策略导致性能急剧下降。Autoreject拉平了不同方法之间的差异，并提高了单通道损坏下的性能，但除此之外，与没有去噪的训练模型相比，并没有改善或降低性能。相比之下，数据增强则提高了所有方法的鲁棒性。有趣的是，它对非深度学习方法的好处多于对病理检测，例如，手动设定特征和香草StagerNet都产生了类似的性能。尽管DSFd和DSFm-st的表现一直优于所有其他方法，但DSF鲁棒性仍然是最好。这两种方法的性能高度相似，产生了大部分重叠的线条（图4）。

图4

最后，这些结果在更复杂的、自然发生的破坏下，比如在家庭环境中发现的破坏是否成立？为了验证这一点，研究者在MSD（4通道移动脑电图）中最干净的记录上训练了与上述相同的睡眠分期模型，并在数据集中受损最严重的17个记录上评估了它们的性能。结果见图5。如上所述，黎曼方法表现不佳，而手动设计特征方法与未去噪的香草StagerNet相比表现更佳。然而，与上述实验相反，仅靠噪声处理并不能提高模型的性能。数据增强平均而言甚至不利于黎曼和香草网模型（见图S3）。但是，与动态空间滤波（DSFd和DSFm-st）相结合，数据增强有助于提高性能并超过其他方法。例如，数据增强DSFm-st的中位平衡精度为65.0%，而没有降噪的香草网络则是58.4%。在单独观察时，性能改进高达14.2%。所有记录都出现了性能的提高，这表明研究者提出的方法可以在噪声环境中提高鲁棒性。

综上所述，对模拟和自然通道受损的实验表明，结合注意力机制和数据增强的策略比传统基线和现有自动噪声处理方法拥有更高的鲁棒性。

图5

注意力权重是可解释的，并与信号质量相关

上述实验表明，在模拟和现实世界中通道损坏的情况下，具有数据增强功能的DSF比“未去噪”和Autoreject基线在病理学检测和睡眠分期任务上具有更高的分类性能。鉴于使用DSF的验证结果，是否可以通过检查其内部功能来解释该模块的行为？如果情况如此，除了提高鲁棒性，DSF还可以用来监测每个传入EEG通道的有效重要性，为信号质量提供了更深入的理解。为测试这一点，研究者分析了每个EEG通道i对TUAB评估集上空间滤波的有效通道重要性φi。结果如图6所示。

总而言之，注意力权重的性能符合预期：通道可用性越好（即无噪音），其有效通道重要性φi相对于其他通道越高。例如，在没有任何其他损坏的条件下，DSF模块将其大部分注意力集中在通道T3和T4上（图6A，第一列），且已知与病理学检测高度相关。然而，当通道T3被替换成白噪声时，DSF模块减少了对T3的注意力，而进一步增加了对其他通道的注意力（第二列）。

同样，当T3和T4均受损时，该模块减少了对这两个通道的注意力，转而利用其余的通道，即主要是Fp1和Fp2（第三栏）。这种变化反映在预测滤波WDSF的地形图上（图6B）：例如，一些计算左右半球差异的双极滤波动态地调整为依靠Fp1或Fp2而不是T3或T4（例如滤波1、3和5）。网络已经学会了忽略受损数据，将注意力集中在好的脑电图通道上，并以保留每个虚拟通道意义的方式来做到这一点。

图6

为进一步验证DSF的注意力权重在现实世界中自然受损EEG数据上的可解释性，研究者在图7中把归一化的有效通道重要性指标与原始EEG的时频表示法同时可视化。如预期那样，当一个通道被严重破坏时，该指标数值下降到接近零，例如整个记录过程中的Fp1（左栏）和间歇性改变的TP9（右栏）。这些结果再次说明了DSF忽略受损数据的能力，但也突出了其动态适应变化噪声特征的能力。

图7

DSF模块解构

用什么可以解释DSF模块对受损通道鲁棒性的提高，以及提供可解释的注意力权重的能力？通过将DSF与更简单的基于插值的方法进行比较，DSF可以理解为一个更复杂的基于注意力的简单模型，该模型决定每个输入的EEG通道应被其插值版本取代的程度（详情见附录F）。考虑到这一联系，研究者进行了一项消融实验，了解形成DSF模块的每个额外机制的重要性。图8展示了不同噪声强度下，数据增强的病理检测任务中进行训练的不同注意力模块变化的性能。

图8

基于C–1的每个通道的朴素插值（橙色）在各种噪声强度下的表现与香草浅层网络模型（蓝色）的表现相似或更差。引入注意力权重（绿色）来控制通道与插值版本混合的程度，只有在噪声强度高于0.5的情况下才能提高性能。每个通道使用一个注意力权重（红色）在所有噪声强度下进一步提高了性能。增加动态插值（品红），其中注意力权重和插值矩阵均根据输入EEG窗口生成，性能得到额外大幅度提升。放宽对插值矩阵的限制并增加一个偏置矢量以获得DSFd（棕色），使得性能十分相似。最后，增加软阈值的非线性和使用协方差矩阵的矩阵对数（DSFm-st，粉色）进一步改善了性能。

这些结果共同表明，将特定通道插值和插值矩阵的动态预测相结合，是超越简单注意力模块公式的必要条件。通过提供完整的协方差矩阵作为注意力模块的输入并鼓励模型产生具有非线性的0权重，可以进一步提高性能。

讨论

研究者介绍了动态空间滤波（DSF），这是一种基于注意力机制架构和数据增强变换的处理EEG中受损通道的新方法。插入一个神经网络，其输入具有空间维度(例如，EEG通道)，DSF预测空间滤波器，使模型动态关注重要通道并忽略受损通道。DSF和基于插值处理EEG传统方法间存在联系，但相比之下，不需要单独的预处理步骤，这些步骤对于密集蒙太奇而言往往十分昂贵，对稀疏蒙太奇适应性较差。在两个大型公共数据集和两项不同的预测任务中，DSF的表现优于基于特征的方法和模拟受损下自动去噪途径。在一个较小的移动稀疏EEG数据集上也获得了类似结果，证明本研究中的方法对家庭记录条件的适用性。最后，使用有效通道重要性的简单测量和地形图可以很容易地检查出DSF的内部功能。综上所述，DSF就计算而言是轻量级的，容易实现，并且在稀疏EEG环境中提高了对受损通道的鲁棒性。

现有去噪方法处理EEG信道损耗

相对于更普遍的“噪声处理”问题（表1），研究者把实验的重点放在稀疏蒙太奇中的通道受损问题上。根据本研究结果，研究者解释了为什么现有策略不能而DSF却可以很好处理通道损坏问题。

第一个实验（4.1）表明，增加EEG通道并不一定能改善分类器对信道损耗的鲁棒性。事实上，研究者观察到的情况正好相反：在严重的信道损耗情况下，在两个通道上训练的模型性能比6通道和21通道模型更好（图2A）。这可以用两个现象来解释。首先，增加通道的数量增加了分类器的输入维度，使它们更有可能过度拟合训练数据。调整正则化超参数有助于解决这个问题，但其本身并不能解决这个问题。第二，在香草神经网络中，第一个空间卷积层的权重，即应用于输入EEG的空间滤波是固定的。如果其中一个空间滤波主要依赖于一个特定的（理论上）重要输入通道，例如T3，而这个输入通道被破坏，那么所产生的虚拟通道的所有连续操作也会带有。这就突出了动态复权的重要性：利用DSF，当一个理论上的重要通道被破坏时，可以找到替代的空间滤波，甚至可以完全忽略掉不包含有用信息的受损通道。

既然增加通道本身并不是一个解决方案，那么传统EEG去噪技术能否帮助处理通道损坏的问题？一个看似简单的方法是对信号质量的相关描述符（如振幅、方差或频谱斜率）使用固定阈值来逐窗识别不良通道。虽然这种方法看起来很直接，但仍需要做出一些重要选择：我们应该使用哪些描述符？我们应该如何选择阈值？一旦识别出坏导，我们该如何处理它们？此外，由于EEG硬件、通道、参考位置、预处理步骤和记录条件不同，特别是在实验室外的环境中，都会对信号的功率和形态产生影响，因此这种方法很可能表现稍次。因此，固定的阈值在某些情况下效果很好，但在某些情况下不能捕捉到实际的噪声（或过于严格）。

相反，以数据驱动的方式来适应阈值能产生有意义的结果。这就是Autoreject的基础，它使用交叉验证程序选择振幅阈值，并使用头部几何对不良通道进行插值。在本实验中，自动去噪只产生了微小的作用（图3和4中间一栏）。这种方法的相对无效性可以解释为在本实验中可用的通道数量非常少（4或6），很可能降低了插值的质量。因此，本研究结果并不意味着基于插值的方法无效（其性能已经多次在更密集的蒙太奇和挑战性的噪声条件下得到证明），而只是暴露了它们在使用少数通道时的局限性。尽管如此，在同本文研究相似环境中，还有其他原因导致基于插值的方法表现不是最佳。例如，用内插法完全取代一个噪声通道，则此通道中所有剩余可用信息都将被丢弃，而其他（未被丢弃的）通道中包含的所有噪声最终都将出现在内插通道中。

最后，当任务可以用一个好通道准确执行的情况，如睡眠分期也需要考虑到。在这种情况下，单通道模型是否可以和多通道模型一样表现良好，而不需要担心上述讨论的挑战？虽然，如果能获得一个可靠的好通道，这就可能实现，但一旦它被破坏（例如，在现实世界的移动脑电图环境中），就不能再被模型使用。单通道模型的组合可能是一个有趣的解决方案；然而，这需要知道关注哪个通道以及何时关注，还需要额外的逻辑和处理管道组件。此外，为通过空间信息来改进该模型，该模型应该在所有良好通道的可能组合上进行训练。由于DSF的端对端动态复权能力，它为单通道模型所遇到的挑战提供了一个令人信服的解决方案。

输入空间表达的影响

DSF模块使用的表达限制了可以用于产生空间滤波的模式类型。例如，使用每个通道的对数方差可以检测到大振幅的损坏或伪影，然而会使DSF模块忽略通道之间更细微交互类型。这些相互作用在某些情况下可能是非常有价值的，例如，当一个通道被一个噪声源破坏时，它也会影响其他通道，但程度较轻。

本实验表明，基于对数方差（DSFd）或矢量协方差矩阵（DSFm-st）的模型在模拟噪声条件下大致相当（图3-4）。这可能是因为研究者使用的加性白噪声没有空间相关性，因此DSF模块不能利用空间交互作用来识别噪声。然而，在自然损坏的数据中，完整空间信息和软阈值是优于其他方法的关键（图5）。这可能是因为家庭记录中的噪声往往在空间上是相互关联的，而且因为通道损坏，往往主要包含噪声，DSF可以完全忽略。

相关的注意力区块结构已经使用平均池或平均和最大池的组合来汇总通道。因为EEG通道通常被假定为零值，或被高通过滤去除其直流偏移，平均池不应产生有用的输入表达。另一方面，最大池确实捕捉到了与二阶统计重叠的振幅信息，然而它无法区分大的瞬时伪影和更多时间上一致的损坏。对TUAB的实验（未展示）证实了这一点：最小池和最大池的组合对噪声的鲁棒性不如基于协方差的模型。从这个角度来看，矢量协方差矩阵或类似的表达（附录A）是空间表示法的理想选择。最终，DSF可以用任何具有空间维度的学习表征来补充，例如滤波库表征。

数据增强转换的影响

数据增强对研发损坏不变性至关重要（4.2）。例如，在模拟受损的情况下，即使没有使用注意机制，用数据增强变换训练的香草神经网络仍获得了相当大的鲁棒性。这是否意味着数据增强是DSF的关键成分？事实上，在自然损坏数据中的结果（图5）显示，没有注意力的数据增强对性能有负面影响，增加注意力机制对提高性能是必要的。此外，传统管道一般没有像神经网络那样从数据增强中受益，甚至在某些情况下，例如在病理检测实验的低噪声条件下和黎曼模型的真实世界数据中，它们的性能大大下降。

尽管如此，这些结果强调了数据增强变换在研发EEG鲁棒性表征方面的作用。近期，脑电图自我监督学习的工作进一步表明了特征明确的数据增强变换对表征学习的重要性。在本实验中使用数据增强的目的不是为了减少像常见于深度学习中由于样本量有限而导致的过拟合，而是为了在可控损坏的实验数据下评估方法。最终，本研究中的加性白噪声变换可以与通道屏蔽和洗牌以及其他文献描述的潜在破坏过程相结合。

动态空间滤波衡量有效通道重要性

图6的结果表明，将DSF模块产生的空间滤波可视化，能够揭示模型已经学会关注的空间模式（4.3）。

正如实验中所观察到的，较高的φ表示一个通道对下游任务的有效重要性较高。例如，在病理检测任务中，时间通道被赋予更高的重要性，这与以前的工作一致。同样，在真实世界的数据中，只要一个通道被破坏，就会给赋予较低的φ值（图7）。

然而，φ并不是对信号质量的严格衡量，更多的是对通道可用性的衡量：DSF模块对一个通道进行提升或衰减的背后可能有不同原因。当然，如果一个通道噪声很大，它的贡献可能会被降低到零，以避免噪声污染虚拟通道。相反，如果在其他通道中也发现某个受损通道的噪声源（但程度较低），那么这个受损通道也可以减少噪声并恢复成干净的信号。即φ反映了一个通道对其他通道的重要性。

最后，利用DSF来获得对通道可用性的衡量，打开了DSF在非机器学习环境中应用的大门。例如，用DSF训练了一个神经网络后，它的有效通道重要性值就可以作为类似数据的信号质量指标来重新使用（例如用相同或类似硬件收集的数据）。这样的信号质量指标在数据收集过程中帮助很大，让我们知道应该保留记录的哪些部分进行分析。

实用考量    

当预测任务中的通道损坏时，应该首选哪种建模和去噪策略？这一选择应取决于可用通道的数量，以及对噪声静止性的假设。当使用稀疏蒙太奇时，如本文所述，不同的解决方案可以获得良好的结果。例如，当空间信息不是很关键（如睡眠分期，4.2）或噪声是静止的时候，尽管随机森林人工设定特征需要一个重要的特征工程步骤，但其有很好的表现。然而，当对预测任务的假设较少时，例如，非稳态损坏或重要空间信息，数据增强的DSF是使神经网络具有抗噪性的有效方法。尽管研究者没有在密集蒙太奇上测试去噪方法，但可以预期不同的方法在这些环境中都能很好地工作。例如，在静止噪声下，基于黎曼几何的方法对缺乏预处理的脑电图数据具有鲁棒性。另一方面，如果噪声不是静止的，且计算资源允许，基于插值的方法能够在应用预测模型之前估算缺失通道。在不希望引入单独预处理步骤的情况下，具有数据增强功能的DSF可能是一种有前途的端对端解决方案。

相关工作

音频数据的深度学习和噪声鲁棒性 噪声鲁棒性是语音识别界特别感兴趣的问题。例如，有人提出 "噪声感知训练"，通过向网络提供噪声水平的估计值，在单通道噪声语音信号上训练深度神经网络。通过训练语音识别任务分类器表现良好，但在信号质量分类中表现不佳，或者通过补偿无干扰信号和噪声信号内部表征之间的距离，研发了语音信号噪声的不变表征。还设计了一些方法利用多个音频通道的空间信息，与研究者提出的DSF方法类似。深度波束成形网络用于动态重新加权不同的音频通道，以提高对噪声的鲁棒性，例如滤波预测子网络。与本研究类似的工作也使用了空间注意力来对波束成形的输入语音信号进行重新加权，以决定需要关注哪些滤波器。

EEG处理注意机制 深度学习和EEG的进展促进了注意力机制在端对端EEG处理中的各种应用。首先，一些研究通过关注EEG表征的不同维度，利用注意力来提高特定任务的性能。例如，自然语言处理启发注意力模块用于睡眠分期架构，以改善对时间依赖性的处理。注意力也被应用于空间维度，动态结合来自不同EEG通道的信息或者来自异质通道类型的信息。在一项研究中，空间和时间注意力被同时用于BCI分类任务。其次，注意力机制已用于实现不同数据集之间的转移学习，这些数据集可能具有不同的蒙太奇。一项研究中，两个平行注意力机制允许神经网络集中于两个数据集之间最容易转移的通道和窗口。结合对抗性损失，这种方法改善了跨数据集睡眠分期任务的领域适应性能。与DSF类似，一项研究中使用的空间注意块，将输入通道重新组合成固定数量的虚拟通道，并允许模型转移到不同的蒙太奇。类似变压器的空间注意模块也被提出来动态重新排列输入通道。与DSF不同，这些方法使用了[0,1]范围内的注意力权重，打破了通道重组和空间滤波之间的概念性联系。

局限性

研究者对睡眠数据的实验侧重于窗口式解码，也就是说，没有对更大的时间背景进行汇总，而是直接将每个窗口映射到预测。但是建立较长尺度时间依赖关系的模型最近被证明有助于提高睡眠分期的性能 。尽管性能略有下降，但窗口式解码提供了一个简单而实际的设置来测试对受损通道的鲁棒性，同时限制了超参数的数量和实验计算成本。在实践中，数据损坏的影响远远超过了使用简单架构所造成的性能下降。

本文所采用的数据增强和噪声破坏策略均应用了高斯加性白噪声。虽然这种方法有助于开发噪声鲁棒模型，但空间不相关的加性白噪声也代表了一种“对抗性情景”。事实上，在强白噪声下，频率较高的信息比粉红或棕色噪声更容易丢失。此外，空间噪声相关性的缺失意味着空间滤波更难利用多通道信号回归出噪声。探索更多样化和可行的通道损坏类型，可以进一步阐明DSF在不同条件下的工作能力。尽管如此，研究者对自然损坏睡眠数据进行的实验表明，作为数据增强的加性白噪声确实有助于提高噪声的鲁棒性。

最后，将通道损坏的实证研究集中在两个移动脑电图应用的主要临床问题上：病理筛查和睡眠监测。有趣的是，这两项任务已被证明在有限的空间信息(即单通道睡眠分期）下也能很好工作，或者与更简单的光谱功率表征高度相关。因此，未来的工作需要验证DSF在细粒度空间模式对成功预测至关重要的任务中的使用，例如脑年龄评估。其他常见基于EEG的预测任务（例如癫痫发作检测）可能会受益于DSF，但仍需进一步验证。

结论

研究者提出了动态空间滤波(DSF)，这是一种注意力机制结构，可提高EEG预测任务中受损通道的鲁棒性。结合数据增强变换，DSF在三个数据集上的模拟和真实通道损坏情况优于其他噪声处理程序。此外，DSF能够使用少量通道且不以预处理中的过程为代价，即可对受损通道进行有效的端对端处理。研究者希望该方法可以提高EEG在具有挑战性、非传统环境中的可靠性，例如用户操作的家庭记录。

原文：Robust learning from corrupted EEG with dynamic spatial filtering.

https://doi.org/10.1016/j.neuroimage.2022.118994

文章来源于微信公众号（茗创科技），欢迎有兴趣的朋友搜索关注。