论文阅读笔记2：基于自适应攻击强度的对抗训练_pgd投影梯度下降

这是电子科技大学计算机科学与工程学院最近发布在《计算机应用》期刊上的一篇论文。

目录

1、对抗训练

2、对抗训练的优化

2.1、优化外部最小化循环

2.2、优化对抗样本生成及使用策略

3、基于自适应攻击强度的对抗训练（论文提出的方法）

---

1、对抗训练

        对抗训练的基本思想是通过引入对抗样本来提高模型的鲁棒性。

一般分为以下步骤：

        1、生成对抗样本：一般使用投影梯度下降（PGD）生成对抗样本

        2、训练模型：使用生成的对抗样本和原始样本一起来训练模型。 

        3、重复迭代：重复执行上述两个步骤，生成新的对抗样本和训练模型，以提高模型的鲁棒性。

整个对抗训练过程被形式化为一个极大极小优化问题，它的目标函数被定义为：

        在该公式中，内部循环利用投影梯度下降（Projected Gradient Descent，PGD）攻击方法生成当前最强的对抗样本，而外部循环则通过最小化模型对于对抗样本训练的误差来实现。

2、对抗训练的优化

2.1、优化外部最小化循环

        Rice 等提出一个早停版本的投影梯度下降对抗训练（PGD-AT），获得了效果上的提升。
        Zhang 等探讨了干净样本精度和对抗鲁棒性之间的权衡，并提出了一种防御方法称为Trades，可以将干净样本精度与对抗鲁棒性进行权衡。

        以上方法有一定效果，但忽视了对抗样本生成的丰富性及模型适应性对模型鲁棒性起到的关键作用。

        在对抗样本生成阶段只使用固定参数的 PGD攻击方法生成对抗样本，这会带来模型训练前期对抗样本难度过大导致模型崩塌，训练后期对抗样本难度过小难以进一步提升模型鲁棒性的问题。

2.2、优化对抗样本生成及使用策略

        最近的研究也开始意识到对抗样本对于提升模型鲁棒性的关键作用。在模型训练的早期使用较弱的对抗样本，以帮助模型适应对抗样本，而在训练后期使用更强的对抗样本来进一步提高模型的鲁棒性。

         Cai 等提出采用课程对抗训练（Curriculum Adversarial Training，CAT）来帮助模型提升对抗鲁棒性。Wang 等设计了一个衡量收敛质量的标准，并提出了动态对抗训练（Dynamic AdveRsarial Training，DART）来提高目标模型的鲁棒性。

        Zhang 等[9]提出了友好对抗性训练（Friendly Adversarial Training，FAT），通过搜索最少对抗样本来改善模型鲁棒性。

        Jia 等提出了使用强化学习训练一个策略网络来自动产生对抗样本的策略，称为可学习攻击策略的对抗训练（Adversarial Training with LearnableAttack Strategy，LAS-AT）。

        现有可变对抗样本强度的方法仍存在有手工设计无法实现自动化生成、缺乏灵活性、泛化能力差的问题。

3、基于自适应攻击强度的对抗训练（论文提出的方法）

        为了解决上述问题，本文提出了一种新颖的对抗训练方法。该方法引入了一种自适应攻击强度的对抗样本生成策略，根据干净样本的模型输出和对抗样本的模型输出之间差异的变化情况自动调整对抗样本强度。这使得模型在训练过程的不同阶段都能够获取一个自适应难度的对抗样本训练集，从而同时提升模型在干净样本上的精度和对抗鲁棒性。

        在一个固定的攻击策略下，对抗训练过程中的对抗样本和干净样本之间的差异并不能无限扩大，即对于模型和样本存在一个鲁棒边界。

        本文的方法是如果达到鲁棒边界，那么下一时刻就需要一个强度更高的攻击策略来生成对抗样本进行对抗训练。具体实现来说就是 扰动边界越大、迭代次数越多，对抗样本的强度就越大。方法具体框架在下一部分讲解。

方法整体框架如下：

输入  目标模型 ，训练集 ，阈值 ，扰动上限 ，迭代次数上限 ，训练总轮次

输出  经过自适应强度对抗训练的目标模型 

其中的公式（3）：

        KL散度（相对熵），是两个概率分布间差异的非对称性度量。这里是用来表示对抗样本和干净样本在当前时刻的差异。

公式（4）：

        如果比阈值大说明差异变化相对较大，对抗样本和干净样本之间的差异变化还存在一定趋势，模型还没有达到鲁棒边界则攻击强度不变，说明对抗样本当前强度足够训练；

        如果比阈值小说明差异变化相对较小，对抗样本和干净样本之间的差异变化到达瓶颈，模型达到鲁棒边界则攻击强度需要增强，说明训练需要更强的对抗样本。

        至于具体实验参数设置和对比实验，大家可以自行去看论文，论文链接我会贴在末尾。

        对比试验可知，除了CIFAR-10数据比较简单，没有任何一个所选择的对比方法在所有指标上达到最优，其余的CIFAR-100和Tiny ImageNet数据集上的实验，鲁棒对抗性精度上该论文方法的效果都是最优。

        至于最后一部分对本文对所提出的方法训练过程中的鲁棒精度、KL 散度和 PGD 策略做了曲线图可视化如下图：

        论文中所写的“使用本文方法的对抗训练 KL 散度变化曲线，在固定攻击策略 KL 散度变化处于平缓时立即增强对抗样本的强度，下一时刻 KL 散度立即上升，这使得模型很快就适应了最终强度的对抗样本，提升模型的鲁棒精度。”是可以证明该论文方法的优越的。

        但是从（c）可以看，该论文方法的攻击策略在大约40轮之后就达到了最终强度，（a）图的鲁棒精度对比也可以看出只是在迭代次数很少的情况下本文方法会优于PGD-AT，后面甚至是会低于PGD-AT，效果并不好，不过前文也说过CIFAR-10数据比较简单，所以没有体现出该论文方法的优势，不知道为什么做可视化时作者会选择用CIFAR-10。

论文链接：基于自适应攻击强度的对抗训练方法 - 中国知网 (cnki.net)