Deepfakes论文总结

Deepfakes论文总结（更新中）

目前的deepfake检测，从检测层级上讲有两类：

• 一类工作认为，深度伪造检测，应该检测伪造过程中底层的artifact，比如本文中的[5,6,7,8]。这类文章通常非常善于设计网络架构、设计数据增强方式，设计loss等等，泛化性较差。

• 另一类工作认为，深度伪造检测，应该关注伪造过程中难以复制的高层语义信息。比如本文中的[1,2,3,4,10]。这类文章通常不太在意底层网络架构（即使他们会使用各种各样的特征抽取器），而更关注网络抽取出的时序语义（目前还无工作基于图片语义），泛化性较好。

从实现方法上讲，基于个体的检测（identity-based）和有监督学习（supervised）两类：

• 基于个体的方法通常是将视频映射到能够识别个体的特征空间，然后根据新样本和已有实例之间的距离做出决策。这类检测需要真实个体视频的参考集合(reference set)。

• 监督学习方法把检测作为一个真假分类问题。

从模态角度看，除了传统的视频和音频外，随着带有伪造音频的数据集的出现，多模态的检测也成为最新热点。

Identity-based

[1] ProtectingWorld Leaders Against Deep Fak