【CVPR2020】CNN-generated images are surprisingly easy to spot... for now（假图检测/CNN合成图像的检测/图像取证）

CVPR2020 ORAL。这篇论文的思路很简单，就是涉及到的数据收集和用到的GAN太多了，一般人可能都没精力去搞。简要概括，实验量大，效果好，抓人眼球哈哈。这篇论文涉及到的GAN真的好多....从头到尾的翻译还是很少做的，但是值得，要不老忘。各位同学私人转载的话，注明我的博客地址就好啦。

论文原文：https://arxiv.org/abs/1912.11035

论文源码：https://github.com/peterwang512/CNNDetection （目前Github上是没有发布训练代码的）

摘要

        在这项工作中，我们提出这样的疑问：是否有可能创建一个“通用”检测器，不论使用什么结构的CNN或哪种数据集，通用检测器都能区分真实图像和CNN生成的图像。为了测试这一点，我们收集了由11种不同的基于CNN的图像生成器模型生成的假图数据集集合，这些被选择的模型包含了当今最常用的那些（ProGAN，StyleGAN，Big-GAN，CycleGAN，StarGAN， GauGAN，DeepFakes，级联精炼网络，隐式最大似然估计，二阶注意力超分辨率，seeing-in-the-dark）。我们证明，经过精心的预处理和后处理以及数据增强，仅在一个特定的CNN生成器（Pro-GAN）上进行训练的标准图像分类器就可以令人惊讶地将其很好地推广到未知的架构，数据集和训练方法（包括刚刚发布的StyleGAN2 [22])。我们的发现表明，当今CNN生成的图像存在一些共同的系统缺陷，从而阻止了它们实现逼真的图像合成的可能性。

介绍

        随着深度图像合成技术（例如对抗性网络（GAN））的最新快速发展，引起了公众的广泛关注和担忧，人们担心我们正在进入一个无法分辨出哪些图像是真实图像哪些图像是合成图像的时代[15]。这个问题已开始在全球政治中发挥重要作用，比如反对派声称Gabon总统的视频是伪造的，这是导致政变失败的一个因素。许多关注点都针对特定的修改技术，例如“ deepfake”式面部替换[3]和超高像素逼真的合成人像[21]。但是，这些方法仅代表了通过卷积神经网络（CNN）进行图像合成这一广泛技术中的两个实例。我们在这项工作中的目标是找到一种用于检测CNN生成的图像的通用图像取证方法。
        检测图像是否由特定的合成技术生成是相对简单的——只需在包括真实图像和通过相关技术合成的图像数据集上训练分类器即可。但是，这种方法很可能会与图像生成中使用的数据集（例如人脸）相关联，并且由于数据集偏差[40]，可能无法泛化到新数据集上（例如汽车）。更糟糕的是，随着生成方法的发展，在原有方法上进行训练的检测器可能很快会失效。

        因此，很自然地要问，现今CNN生成的图像是否包含共同的伪像，例如某种可检测的CNN指纹，这将使分类器能够泛化到整个生成方法家族，而不是单个方法。不幸的是，先前的工作已经报告了泛化是图像取证的关键。例如，最近的几篇著作[48，13，41]观察到，对一种GAN架构生成的图像进行训练的分类器在其他模型上进行测试时性能较差，并且在许多情况下，当仅有数据集发生变化而模型和任务不变时，泛化也会失败[48]。这是有道理的，因为图像生成方法千差万别：它们使用不同的数据集，网络架构，损失函数和图像预处理方法。
        在本文中，我们表明，与当前的理解相反，训练用以检测CNN合成图像的分类器可以在数据集，体系结构和任务之间展现出令人惊讶的泛化能力。我们遵循惯例，通过使用单个CNN模型（我们使用ProGAN，一种高性能的无条件GAN模型[20]）生成大量伪造图像，并将模型的真实训练样本作为负样本，来训练一个二元分类器，以检测伪造图像。
        为了评估我们的模型，我们创建了一个由CNN合成图像组成的新数据集，即ForenSynths数据集，该数据集由来自11个模型的合成图像组成，其范围从无条件的图像生成方法（例如Style-GAN [21]）到超分辨率方法[14]和deep-fakes[38]。每个模型都在适合其特定任务的不同图像数据集上训练。我们还继续对最初编写本文后重新发布的模型的检测器进行评估，发现它可以在最新的无条件GAN StyleGAN2 [22]上开箱即用。

        在这种方法的简单性之下，我们发现我们通过一系列实验和经过训练的图像生成模型的新数据集研究了许多微妙的挑战。我们发现，以通用图像后处理操作的形式进行的数据增强对于泛化至关重要，即使目标图像本身未经过后处理也是如此。（这句话需要重新表述一下）我们还发现训练图像的多样性很重要；从CNN合成方法中采样的大型数据集会导致分类器的性能优于在较小的数据集上训练的分类器。最后，至关重要的是检查后处理对模型泛化能力的影响，这种影响通常发生在图像创建的下游（例如，during storage and distribution）。我们表明，如果采取正确的步骤，分类器确实对常见操作（如JPEG压缩，模糊和调整大小）具有鲁棒性。
        总而言之，我们的主要贡献是：1）我们证明了在CNN合成图像上训练的取证模型对其他CNN合成方法表现出令人惊讶的泛化能力； 2）我们提出了一种新的数据集和评估指标用于检测CNN生成的图像； 3）我们从实验上分析了影响跨模型泛化的因素。

相关工作

        检测基于cnn的篡改。最近的一些工作已经解决了检测cnn合成图像的问题。Rossler等人[38]评估了检测面部篡改技术的方法，包括基于cnn的面部和嘴的替换方法。研究表明，简单的分类器可以检测出由同一模型产生的假图，但没有研究模型或数据集之间的泛化问题。Marra等人[28]同样表明，简单的分类器可以检测由图像转换网络[18]（image translation network）合成的图像，但没有考虑跨模型迁移。

        最近，Cozzolino等人[13]发现取证分类器在模型之间迁移性差，性能往往是随机的。他们提出了一种新的表征学习方法，基于自动编码器，以提升检测器在对各种生成方法进行zero- and low-shot training 的迁移性能。虽然他们的最终目标与我们的相似，但他们采取了一种正交的方法。他们专注于新的学习方法以提升迁移学习，并将它们应用于各种各样的模型(包括CNN和非CNN)。相比之下，我们对不同训练和测试条件下基于cnn的简单“baseline”图像生成器的性能进行了实验研究。张等人[48]发现分类器在GAN模型之间泛化得很差。他们提出了一种名为AutoGAN的方法来生成图像，这种方法包含了GAN结构中常见的上采样伪影，并在两种类型的GANs上进行测试。其他的工作已经提出使用手工制作的cooccurrenc特征或者建立在预先训练的面部检测器上的异常检测模型来检测GAN图像。研究人员还提出了一些方法来确定，在几个已知的GAN网络中，哪一个生成了给定的图像[29,45]。