【论文阅读笔记】Mitigating the Backdoor Attack by Federated Filters for Industrial IoT Applications

个人阅读笔记，如有错误欢迎指正！

期刊：TII 2022 Mitigating the Backdoor Attack by Federated Filters for Industrial IoT Applications | IEEE Journals & Magazine | IEEE Xplore

 问题：本文主要以实际IoT设备应用的角度展开工作

联邦学习可以处理大规模IoT设备参与的协作训练场景，但是容易受到后门攻击。

密文计算过程复杂难以实现

通常的防御通过修剪后门敏感神经元来规避后门影响，基于修剪的方法都需要一个标准模型来确定是否存在后门，这对于联邦学习场景过于复杂，客户端难以在本地实现，服务器也很难决定如何修剪神经元。

创新：通过削弱恶意模型对受害者的影响来减轻后门攻击

通过XAI模型训练过滤器

通过模糊标签反转策略来清除后门数据的触发区域

XAI 可扩展 eXplainable

XAI方法解释模型结果，以帮助研究人员评估模型是否学习到正确的特征。

类型：

• 基于反向传播来计算显著性图
• 从模型的卷积层计算显著性

本方法的可行性：

通过深度学习构建后门分类器的方法是不合适的：1、隐蔽的触发器使模型难以在整个输入图像中识别出；2、即使模型识别出触发区域，基于学习的模型参数量级过大会造成传输和存储负担。本文通过简单的轻量级带有触发器属性的模型构建分类器

方法：

部署在服务器上的防御分为三个部分，攻击者库，过滤器库，XAI库

攻击者库：收集已有的触发器样式、大小、位置、相关任务等。为了体现后门过滤器的高效性，本文只记录后门大小

过滤器库：使用不同的分类模型，将已发现的后门最为输入训练多个过滤器并存储于库中。

XAI库：收集XAI模型

每个IIoT应用程序都保存其本地模型、从服务器接收的后门过滤器、保存可疑输入的缓冲区和清除输入触发器的触发工具。

• 首先，将输入数据和模型的预测结果一起输入到后门滤波器中。如果后门过滤器将输入数据视为可疑后门数据，则将可疑数据及其预测向量保存到缓冲器中。
• 然后，去触发工具通过模糊触发区域来消除触发的影响。
• 最后，将去触发的数据再次输入到模型中，模型在标签滑动策略的帮助下输出最终的预测结果，完全消除了后门效应。

过滤算法：

输入：数据集 分类器 XAI模型 阈值

5-6 在XAI模型的帮助下，将恶意模型，原始数据​，模型预测向量作为输入，输出热图

7 初始化重要特征区域

8-1 2遍历热图，对于每一个重要特征，如果该像素值超过阈值，则后门大小加1

13-16 可疑特征的标记为1，正常特征标记为0，形成数据集

18-22用后门数据训练分类器，得到后门过滤器

模糊标签反转算法:

将图像输入本地模型，得到分类结果

将本地模型、原始图像、分类结果输入XAI模型，输出热图并判断重要特征

后门分类器将原始图像的重要特征大小作为输入，判断该图像是否存在后门

若判断图像中存在后门，则将图像输入后门模糊模块：由于后门作为图像重要特征的一部分，因此提取重要特征对应的原始图像，后门模糊模块利用木马周围像素的均值清晰木马

将清理过的图像重新输入本地模型，若输出标签与原始标签相同，则模型选择第二大可能的class

2-9若输入数据为后门，提取原始图像中与关键特征相对应的部分，对其用每个像素周围的平均值进行模糊

实验：

主任务与后门任务的攻击

在MNIST数据集上将后门部分设置为10%和50%，在CIFAR数据集的恶意模型训练过程中每批注入五个后门数据。

阈值设定为0.2对过滤器的评估

不同XAI模型

总结：整篇文章感觉思路上的创新不大，主要是站在实际应用角度进行的防御考虑，如果能在实验部分加入IoT数据集更好，为发论文提供了新的角度思路。