【PhD Debate —11】矛与盾的对决——神经网络后门攻防

点击蓝字

关注我们

AI TIME欢迎每一位AI爱好者的加入！

2022年7月9日，AI TIME组织了Ph.D. Debate第十一期，题为“矛与盾的对决——神经网络后门攻防”的研讨活动，特别邀请了宾夕法尼亚州州立大学电子工程系博士生向臻、清华大学博士生李一鸣、弗吉尼亚理工计算机工程博士生曾祎和普渡大学计算机科学博士生沈广宇作为嘉宾，与大家一起回顾与展望神经网络的后门攻击与防御。

随着神经网络的深入研究，网络的性能在不断的逼近人类。与此同时，网络的体积和对数据的需求也在急剧增大。比如，近年来OpenAI提出的文本-图像转换模型Clip使用了将近40亿组图像文本对进行训练.采集如此大的数据并进行训练对于个人甚至小型企业而言已经成为了不可能完成的任务。在此大背景之下，出现了数据采集，数据训练服务的处理模式——模型的使用者采用第三方收集的数据或是直接将训练任务交由第三方处理。这样就给后门攻击者留有了后门攻击的空间。具体来说，攻击者恶意的在一部分数据样本上加上触发器并修改对应标签，然后将其混入正常的训练样本之中。通过正常的训练流程之后，模型就会植入神经网络后门。有后门的神经网络有两个特点，一是其在正常神经网络上有比较高的准确率，二是一旦输入的样本含有特定的触发器就会导致模型的性能大幅下降。

神经网络的后门攻击会在多个场景下存在安全隐患，比如自动驾驶和人脸识别领域。本次我们将围绕以下几个话题进行讨论：

一、现有后门攻击的特点，设计的难点，以及未来研究的方向有哪些？

二、后门攻击和对抗攻击在预测过程中均需要对样本进行修改，后门攻击与对抗攻击也是如今神经网络安全研究的两个重要的方向，大家如何看待这两个方向的区别与相似之处？

三、现有后门防御的特点，设计的难点，以及未来研究的方向有哪些？

四、如何看待和设计新任务上的后门攻击和后门防御？

Q1

现有后门攻击的特点，设计的难点，以及未来

研究的方向有哪些？

李一鸣提出现在的后门攻击有很多种不同的划分方式，最常见的一种划分方式是根据它的生命周期来划分。而针对攻击者需要的权限来说，现有攻击可以分为三部分：第一部分的攻击要求攻击者只能修改训练数据集；第二部分针对训练流程的后门攻击，假设攻击者是可以操控训练流程的，但是不能修改模型结构；第三种的攻击者能力是无限的，比如可以修改模型结构。除开生命周期划分之外，从某些特定角度也可以进行划分。比如根据后门触发器是否可以被观察到，目前常见的还是触发器不可见的类型。

向臻也分享了他的看法，他认为较早提出研究后门攻击时是对现有图像pixel的替换，这些是能够实现的。最近提出的如通过网络或是某一种经过训