内容安全复习 8 - 视觉内容伪造与检测

研究背景

图像内容篡改造成新闻报道的偏颇易导致社会和公共秩序的不安，对公共安全产生不良影响。

造成的影响：
政治抹黑、军事欺骗、恐怖主义、社交媒体涟漪效应、经济犯罪、网络诈骗。

内容伪造方法

分类如下：

接下来对每种方法进行解释。

虚假人脸生成

两种方法：
（1）基于 GAN 的虚假人脸生成。
（2）基于 ProGAN 的虚假人脸生成。

人脸替换

• 传统的人脸替换主要采用计算机图形学的方法实现。
• 近些年来基于深度学习的人脸替换方法借助大规模训练数据和不断改进的深度学习模型，取得了以假乱真的人脸替换效果。
  比如原始 Deepfake 方法、基于 GAN 的Deepfake 方法。

属性编辑

有一种多领域图像翻译的统一框架 StarGAN。传统的图像翻译方法只能用于两个图像领域之间的翻译，当需要多个领域之间转换时需要每两个领域之间进行训练，效率很低(a)。因此，该方法提出可以仅训练一个统一的模型用于多个领域之间图像翻译，并在人脸属性编辑和表情编辑上取得很好的效果(b)。这里人脸图像的不同属性如发色、性别、年龄、肤色以及不同表情如生气、开心和伤心均可以看作图像的不同领域 domain(c)。

另有一个 InterFaceGAN 框架，用于识别在训练良好的人脸合成模型的潜在空间中编码的语义，并将其用于语义人脸编辑。

表情重演

Face2Face 是一种只需要 RGB 信息进行实时人脸面部表情重演算法 。
该方法在运行时利用一种密集光度一致性度量方法跟踪输入源视频和目标视频中的人脸表情变化，然后利用快速的形变迁移实现人脸表情的复制重演。

跨模态人脸编辑

伪造检测方法

分类如下：

眨眼检测

基于视频中眨眼的检测，这是一种生理信号，在合成的假视频中眨眼并没有很好的表现出来，对于一个健康的成年人来说，一般来说，每一次眨眼之间的间隔是 2-10 秒，但实际的频率因个人而异，典型的眨眼长度是 0.1-0.4 秒/眨眼，而篡改方法篡改的单位为帧，没有考虑帧间连续性。
眨眼检测的原理是 篡改改的单位只是是单个帧，没有考虑帧间联系性。

交互式人脸活体检测

• 是一种在人脸识别过程中验证对象真实生理特征的方法。通过一系列组合动作，如眨眼、张嘴、摇头、点头等，以及人脸关键点定位和追踪技术，活体检测能够判断操作者是真实活体本人还是照片、视频、面具等伪造物。
• 原理：人脸关键点定位：利用算法对人脸上的特征点进行精确定位，如眼睛、鼻子、嘴巴等。这些关键点是识别面部特征和动作的重要依据；
  就是平常的那些刷脸，需要摇头、眨眼等等交互式的动作验证身份。

一些了解方法

• 基于空域线索的伪造检测：Face2Face
  
• 基于生物特征的检测
  
• 有源DeepFakes检测
  
• MesoNet
  

挑战

• 单个工具对付各种攻击的效率将越来越低；
• 深度学习的方法的可解释性。