赞
踩
远程心率估计是在与受试者没有任何身体接触的情况下测量心率,而 rPPG 信号通常是使用摄像机进行收集的,因此会受到多种因素的影响,并且是非常敏感的(比如:肤色,光照条件和面部结构的变化),当我们在训练数据丰富的情况下,端到端的学习可以得到比较好的结果,但是在正式的应用中可能会出现各种未知的情况,会影响最后的结果。
由上面的背景故事我们已经很清楚了, rPPG 深度学习方面研究的一大痛点就是结果会受到多种因素的影响,并且当从训练数据集转移到现实世界中的时候,就伴随着数据分布的变化。因此环境变化的不可预测性和测试对象的个体特征(如:肤色和面部结构的不同)都阻碍了远程心率估计的性能。
本文的作者为了解决这一问题,提出了一种能够在项目部署期间执行快速适应的转导元学习器,主要是引入了一个热启动框架用于适应当前的分布,以应对分布的变化。这个热启动框架与微调的原理并不相同,因为在部署阶段是无法获取标记数据的,所以就需要引入自监督学习。通过合成梯度生成器以及原型距离最小化器来应对部署期间标记数据不可用时执行转导推理。
由下图可知,整体的网络分为三个模块:
在推理过程中仅使用特征提取器和 rPPG 估计器,合成梯度生成器仅在转导学习期间进行使用。并且由于数据分布的变化主要是由于输入信号的视觉方面引起的,所以部署期间的适应阶段会在特征提取器上对新的数据进行权重的变化,而反向传播所需要的梯度就是由合成梯度生成器产生。
对于数据的处理,主要是将其拆分为较短的视频序列,其中的每一个序列又进一步的拆分为 V 和 W 帧,对应于少样本学习,V 用于适应的支持集 S, W 是用于评估模型性能的查询集 Q。
这篇论文的特征提取器是使用了 CNN 进行建模,使用了类似 ResNet 的结构做为卷积编码器的主干网络,给定 T 帧的输入流,然后卷积编码器在帧之间进行共享,最后得到 T 个独立的潜在特征,用于输入 rPPG 估计器。
将上一步中提取出的 T 个潜在特征传递进 LSTM-MLP 架构的 rPPG 估计器,主要是将视觉干扰信号与 rPPG 信号进行分割。该网络主要是对 T 个潜在特征的固定序列的时间信息进行建模,而 LSTM 的每一步的输出都会使用一个 MLP 来对 rPPG 信号进行估计。
由上文我们也可以得知合成梯度生成器主要是应用于小样本学习框架,为未标记的样本生成梯度,从而提高性能。本篇论文中合成梯度生成器是在转导推理期间用于快速适应新视频序列,并在训练期间的适应阶段使用支持集 S。
除了上面所说的合成梯度,本文的作者还提供了另一种方法:最小化原型距离。
由于 rPPG 估计是基于视觉输入进行计算,并且视觉空间分布广泛,因此并不能保证收集用于训练的样本和测试期间使用的样本一致。从统计学的角度来看,训练数据集中提供的数据可以视为分布内样本,而收集数据在不同的光照条件,测试对象,以及不同的相机设置的情况可以视为分布外样本,于是本论文的作者提出了一种最小化原型技术,他的使用前提就是需要由神经网络建模的统计信息并不会随着时间变化太大,由下图可见,是有着明显的分布区间,并且通过最小化原型距离的生成梯度,迫使分布外样本朝向分布内样本。
由于在部署期间,需要考虑观察到未由我们的模型建模过的输入样本的可能性,也就是分布外样本。首先想到的解决方案通常都是加上一个预处理步骤,去包含所有场景的公共分布,但是这个实现起来是不可能的。于是本文就提出了上面两种办法,合成梯度生成器以及最小化原型距离。
学习阶段的作用是迫使模型基于图像域的对应关系来学习适合 rPPG 信号估计的潜在表示。在学习阶段执行的是监督学习,这个阶段只会在训练期间出现。于是乎卷积编码器和 rPPG 估计器通过端到端的方式进行训练,而合成梯度生成器的参数将使用从序数回归损失的反向传播的梯度进行更新,这一过程在适应阶段之前,先进行 R epochs 的预训练,主要是梯度反向传播到合成梯度生成器和最小化原型距离都依赖于 rPPG 估计这一任务,而不是使用一组随机数据。
通过下图我们可以发现这篇论文在 MAHNOB-HCI 和 UBFC-rPPG 这两个数据集中基本上都取得了较好的结构,在 MAHNOB-HCI 中相关性上略逊色与对数据进行过压缩增强的 STVEN + rPPGNet 的组合,rPPGNet 论文相关压缩数据增强的方法可以看我另一篇博客:传送门。而在 UBFC-rPPG 数据集中也仅仅是在 MAE 上逊色与 POS 方法。
通过可视化的效果,我们可以看出在评估过程中转导推理的重要性,根据下图我们可以发现 Meta-rPPG 方法处理过后都会比监督训练得到的特征图在 roi 区域的信息会更加的丰富,增加了合成梯度生成器后效果会更加的明显。
这篇论文给予我的想法就是,我们可以通过训练一个模块对数据梯度来进行模拟,以达到部署期间快速适应过程中的自监督训练。这样的话就可以针对不同的环境条件和用户情况进行个性化适配,以得到更好的 rPPG 结果。
Copyright © 2003-2013 www.wpsshop.cn 版权所有,并保留所有权利。