生成模型太强大？篡改与伪造检测越来越需要了！这篇最新综述不容错过

关注公众号，发现CV技术之美

最近一段时间，以扩散模型为代表的生成模型越来越能逼真地生成图像和视频，一方面是一群人的狂欢，这是AI的进步，另一方面却是另一群人的担忧，这是AI的危险。

AI技术可以造福人类，当然也可以用来作恶。

社交媒体上的视频造假已经让大家不再坚信“眼见为实”，而金融领域的人脸伪造则成为必须面对的系统性威胁。

▲篡改与人脸伪造图像示例

可以看到，经过编辑后的图像整体表现还算比较自然，但仔细放大，还是有一些不和谐的痕迹。

所以面向多媒体数据的篡改（Tampering  ，偏向于多媒体内容的编辑修改）和人脸伪造（Deepfake ，偏向于对多媒体数据中人脸部分的编辑修改）检测技术越来越重要了，成为研究社区不得不讨论的话题。

那么，AI可以打败AI吗？

今天向大家推荐一篇新出的论文『Fighting Malicious Media Data: A Survey on Tampering Detection and Deepfake Detection』，作者参考了377篇文献，系统性综述了篡改与人脸伪造检测领域的相关概念、数据集、技术分类与未来趋势。

• 论文地址：https://arxiv.org/abs/2212.05667

作者来自复旦大学与马里兰大学。

▲篡改检测与人脸伪造检测技术示意图

可见，篡改检测（Tampering Detection）要对“整幅图片”进行判断是否经过篡改，如果有的话，以Mask的形式将篡改部分标识出来。

而人脸伪造检测（Deepfake Detection）是对“人脸区域”进行分类，给出是否是经过人为编辑伪造的。

▲论文总结的相关技术纵览

其中 Genetation（生成） 指篡改与伪造技术，Detection（检测）是指相关检测技术。First/Second/Third Gen指第一代、第二代、第三代数据集。

▲图像篡改的三种模式

作者列出了篡改检测相关数据集：

从统计数据看，年份越近的数据集，数量越大，人工编辑的模式越多。

▲相关数据集展示

作者列出的四种常见的人脸伪造方式：

▲四种常见的人脸伪造方式

图中（a）为整张脸合成，（b）按特定输入对人脸进行编辑，（c）则为换脸，（d）有参考对象的人脸编辑。

在人脸伪造上，技术越走越远，越来越高清逼真，如下图：

第三代数据集不仅数量大（数量级的提升），而且方法多样。

这是不是也说明造假的人也越来越多，越来越努力了啊？。。。

当然，人脸伪造检测技术也在不断发展，下图为检测的可视化结果：

在视频领域时空一致也能帮我们判断一部分伪造：

图中，眼睛一直闭着呢，嘴巴却不停张合。

最后作者也提到了这一领域面临的挑战与方向：

1. 泛化性挑战，作假技术迭代进步很快，一个模型要对没见过的作假方法有效才行。
   

2. 鲁棒性挑战，互联网上的图像视频往往要面对压缩、传输等降质问题，检测模型药足够鲁棒检测出来。

3. 归属方法不够丰富，不只是真假，类似于是否侵犯知识产权的标签也非常有意义。

4. 利用多模态信息，RGB信息中可能不太好分辨的造假，在频域可能就比较明显。可解释性。在一些需要进入司法阶段的应用场景，可解释性就非常重要了。

END

欢迎加入「人脸」交流群