mSNN算法阅读笔记_a multimodal-siamese neural network

论文地址：A multimodal-Siamese Neural Network (mSNN) for person verification using signatures and EEG

算法介绍：

mSNN算法是基于Siamese网络，融合了脑电信号和离线签名这两个特征来进行用户识别。

使用LSTM处理脑电信号，得到“时间特征”；

使用CNN处理离线签名，得到“空间特征”，

得到的特征需要预处理，因为离线签名的图片大小不一致。

下图是mSNN算法结构图，清楚明白。

 

损失函数（下图）：与Siamese网络的公式一样，样本同类，I 是0，反之则为1.

下图是子网络的具体结构，包含了LSTM和CNN网络的具体参数。

数据集：

数据源：《Don’t just sign use brain too: A novel multimodal approach for user identification and verification》

原始数据是有70个受试者，每人10次本人签名，即700个正确样本，每人10次伪造签名，即700个错误样本，共1400个样本。

本文中，为每个用户随机创建12对（真-真，真-伪造）样本，并随机划分为训练集（6对），验证集（2对），测试集（4对）

训练过程：

训练过程使用的是成对样本，即包含两个样本，样本1是实际用户的签名和签名时的脑电信号，样本2是伪造用户的签名和签名时的脑电信号，如下左图所示，右图是训练时的参数。

通过实验，比较了不同优化器、不同损失函数的效果。

根据算法的结构图和训练参数表中的“Maximum iteration”,猜测是在每一个iteration中都计算一次分类效果（Similarity Score）

测试过程：

测试时，使用一支子子网络，输入待测试用户的脑电信号和签字，将得到的对应特征组合A在一起，然后与该用户在数据库中存有的经过网络处理的特征B进行比较，使用欧氏距离计算A和B这两个特征，并将得到的结果与相应阈值进行比较。如果小于该阈值，则是真用户，否则是伪造的用户。

 

实验设计：

1.1. 融合实验-单模态vs多模态：比较仅使用签名，仅使用脑电信号和使用两者时的结果。

    该3组实验中，每组实验所用的阈值，是根据真阳性（没有真用户被拒绝）的概率为1时，取得的。 三个阈值均不同。

    

1.2.训练样本的影响：比较训练时，同一个用户的样本对（都是一真一假）数量（4-7）对算法的影响。

1.3.脑电传感器位置的影响：比较不同脑电级位置对算法的影响。

1.4.与不同的分类算法进行比较

2.分类错误样本的分析

   在560（280真，280假）个测试样本中，仅有8个样本分类错误。

   分析原文：Fig. 11 shows a comparison of the training and testing samples for these 8 misclassified cases. The EEG signals from some of the misclassified users also exhibited the presence of head and facial muscle movements during signing. This may have led to the inclusion of motion artifacts or electromyogram (EMG) corruption in the acquired EEG signal [48], as shown in Fig. 12.

原文总结：

1. 与原数据集的马尔可夫模型结果相比，有了提升。

2. 由于神经网络的特性，该算法在复现时可能会得到不同的结果。

3. 一些其他的特征融合算法，例如FGCNet也可以尝试。

4. 实验发现，6对多模态数据就足以报保证用户的安全.与传统算法相比，在添加新用户时，不需要重新训练整个模型。