【视觉AIGC识别】误差特征、人脸伪造检测、其他类型假图检测_dire for diffusion-generated image detection_针对aigc的人脸伪造检测

先自我介绍一下，小编浙江大学毕业，去过华为、字节跳动等大厂，目前阿里P7

深知大多数程序员，想要提升技能，往往是自己摸索成长，但自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！

因此收集整理了一份《2024年最新网络安全全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友。

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上网络安全知识点，真正体系化！

由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新

如果你需要这些资料，可以添加V获取：vip204888 （备注网络安全）

正文

• 人脸伪造检测（Face Forgery Detection）：包含人脸的AIG图片/视频的检测，例如AI换脸、人脸操控等。此类方法主要关注带有人脸相关的检测方法，检测方法可能会涉及人脸信息的先验。
• AIG整图检测（AI Generated-images Detection）：检测一整张图是否由AI生成，检测更加的泛化。这类方法相对更关注生成图与真实图更通用的底层区别，通常专注于整张图，比如近年爆火的SD、Midjounery的绘图；
• 其他类型假图检测（Others types of Fake Image Detection）：此类方法更偏向于 局部伪造、综合伪造等一系列更复杂的图片造假，当然人脸伪造也属于局部、复杂，但是是人脸场景。将AIG图与真实图拼凑、合成的图片识别也属于这一类。
  这三种类型之间划分并不明晰，很多方法同时具有多种检测能力，可划分为多种类型。严格意义上说AIG整图和其他造假图检测类型可能都会包含人脸信息，但三种类型方法往往技术出发点也不同。

【误差特征】DIRE for Diffusion-Generated Image Detection

Arxiv 2023

方法

作者发现DM 图可以被近似地被扩散模型重建，但真实图片不行。将重建图和原图的图片差异记为扩散重建差（DIffusion Reconstruction Error，DIRE），则DIRE可以作为特征进行2分类训练，判断是否虚假，泛化性会高很多；

扩散模型的角色

扩散模型在这里充当了一种“数字时间机器”的角色，通过将图像“倒带”回过去的某个状态，然后再“快进”到现在，来重建图像。对于合成图像而言，这种“时间旅行”的过程中丢失的信息较少，因为它们本身就是由类似的深度学习模型生成的，因此它们与扩散模型重建的版本更为接近。相反，真实图像在这一过程中会丢失更多的细节，因为它们包含了更复杂和多样的信息，这些信息在通过扩散模型的“滤镜”时难以保留。

DIRE作为检测指标

将DIRE视作一种“指纹差异仪”，它可以测量一个图像经过时间机器旅行前后的变化量。对于合成图像，这种变化相对较小，因为它们本质上已经是“时间旅行”的产物。对于真实图像，变化较大，因为时间旅行过程中它们失去了更多的原始信息。

重建图像差DIRE可以区分真实图和合成图的原因如下图：

• 合成图在重建后变化往往较小；
• 真实图在重建后变化相对较大；

我的理解是，真实图在重建时会丢失很多信息，而生成图由于本身就是模型生成的，重建时信息变化相对不大。因此差异可以反映其真假。

该方法通过预训练的扩散模型（Denoising Diffusion Implicit Models，DDIMs[7]）对图片进程重建，测量输入图像与重建图像之间的误差。其实这个方法和梯度特征的方法LGrad很像，区别在于上面是通过 Transformation Model转换模型获得图像梯度，这里通过 DDIM 重建图计算差。

实验结果

此外，作者提出了一个数据集 DiffusionForensics，同时复现了8个扩散模型对提出方法进行识别（ADM、DDPM、iDDPM, PNDM, LDM, SD-v1, SD-v2, VQ-Diffusion）；

• 跨模型泛化较好：比如ADM的DIRE 对 StyleGAN 也支持，
• 跨数据集泛化：LSUN-B训练模型在ImageNet上也很好；
• 抗扰动较好：对JPEG压缩 和 高斯模糊的图，性能很好；

最后看下实验指标，看起来在扩散模型上效果很好，这ACC/AP都挺高的，不知道在GAN图上效果如何。

---

实验结果显示，这种基于扩散重建差的方法在区分真实与合成图像上表现出色，这就像是在深度伪造的海洋中拥有了一张精确的导航图。这种方法在不同的扩散模型上都展现了高度的准确性，这表明了它作为一种检测工具的潜力。

总的来说，这篇研究为深度伪造检测领域提供了一个新的视角和工具，其通过利用扩散模型的独特能力，提出了一个既直观又有效的方法来区分真实与合成图像。这种方法的成功展示了深度学习领域中“以毒攻毒”的潜力，即使用生成技术的原理来反击深度伪造的问题。

泛化能力和抗扰动

这一方法之所以具有较好的跨模型和跨数据集泛化能力，可以类比于一种“通用翻译器”，它不仅能理解不同语言（即由不同模型生成的图像）之间的差异，还能在不同的环境（即不同的数据集）中有效工作。此外，其良好的抗扰动性能表明，这种方法像是具有一种“稳定的免疫系统”，能够在面对图像质量下降（如JPEG压缩）或视觉干扰（如高斯模糊）时，依然保持高效的检测能力。

人脸伪造监测（Face Forgery Detection）

人脸伪造图生成

人脸伪装图根据身份信息是否更改划分为身份信息不变类和身份替换类。

身份不变类伪造图在图片修改/生成时不修改图片中人物的身份信息，包括：

• 人脸编辑：编辑人脸的外部属性，如年龄、性别或种族等。
• 人脸再制定：保留源主体的身份，但操纵其口部或表情等固有属性；
  https://github.com/harlanhong/awesome-talking-head-generation
  https://github.com/Rudrabha/Wav2Lip
• 身份替换类伪造图在图片修改时同时改变其中人的身份信息：
  • 人脸转移：它将源脸部的身份感知和身份不相关的内容（例如表情和姿势）转移到目标脸部，换脸也换表情等等，相当于把自己脸贴在别人的头上；
  • 换脸：它将源脸部的身份信息转移到目标脸部，同时保留身份不相关的内容。即换脸，但不换表情，自己的脸在别人脸上做不变的事情；
  • 人脸堆叠操作（FSM）：指一些方法的集合，其中部分方法将目标图的身份和属性转移到源图上，而其他方法则在转移身份后修改交换后图的属性，多种方法的复合；

其他类型假图检测（Others types of Fake Image Detection）

写在最后

在结束之际，我想重申的是，学习并非如攀登险峻高峰，而是如滴水穿石般的持久累积。尤其当我们步入工作岗位之后，持之以恒的学习变得愈发不易，如同在茫茫大海中独自划舟，稍有松懈便可能被巨浪吞噬。然而，对于我们程序员而言，学习是生存之本，是我们在激烈市场竞争中立于不败之地的关键。一旦停止学习，我们便如同逆水行舟，不进则退，终将被时代的洪流所淘汰。因此，不断汲取新知识，不仅是对自己的提升，更是对自己的一份珍贵投资。让我们不断磨砺自己，与时代共同进步，书写属于我们的辉煌篇章。

需要完整版PDF学习资源私我

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化的资料的朋友，可以添加V获取：vip204888 （备注网络安全）

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

[外链图片转存中…(img-ol6vQgww-1713208993471)]

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！