9 中断向量 重定位_图像篡改检测与定位论文

1.Abstract

图像处理检测有两个研究类别：图像后处理检测（Image Manipulation Detection）和图像篡改检测（Tamper Detection）。

（1）图像后处理检测主要挖掘图像是否经历过：中值滤波处理（Median Filtering）、高斯模糊处理（Gaussian Blurring）、添加高斯白噪声（Additive White Gaussian Noise）、重采样（Resampling）、JPEG 压缩（JPEG Compression）等后处理操作。

（2）另一方面图像篡改检测旨在挖掘数字图像的恶意处理，例如删除（Removal）、添加（Adding）、复制（Copy）、截取（Splicing）图像中的对象。

图像处理检测在军事防卫、司法鉴定、图像防伪等领域有重要的价值。

本文旨在通过分析近年来基于深度学习的图像篡改检测发展，总结该方向主要发展方向、可以探索方向。

---

2.Introduction

图像篡改检测从篡改方法上可以分为：

• （1）图像接片检测（Image Splicing Detection）
• （2）图像复制-黏贴检测（Copy-Move Detection）
• （3）图像对象移除检测（Object Removal Detection）

（1）和（2）有本质区别，（1）主要通过截取图像A的某个物体到图像B，并检测图像B是否被篡改；（2）主要用过复制图像A的某个物体，移动到另外一个位置，并检测图像A是否被篡改，即（1）的复制物体来自于多个图像，（2）的物体对象来自同一张图像。

关于（1）的例子如下，图像中的第三张图来源于原图像A，原图像B中防火栓标志的合成：

关于（2）Copy-Move的比较有名的例子是伊朗导弹齐射伪造事件。

2008年伊朗不断发布该国“试射多枚远程导弹”的消息，随后《纽约时报》发现，这张有四枚导弹腾空而起的照片存在被“人为修改”的痕迹：其中一枚导弹（从小图2右侧数第二枚）很可能是照片上其他两枚导弹“PS后的产物”。

目前，对于（1）、（2）检测的算法比较多，而针对（3）的算法比较少见，接下来我们将分析最近几年使用深度学习解决上面几个问题论文，从而分析该领域的当前现状、未来方向。

---

3.Related Work

关于上述几种篡改方法，图像篡改检测算法大致可以分为传统算法和深度学习算法，传统算法的特点是手工提取特征、建立模型、分析特征并分类；深度学习的算法主要通过使用CNN模型，提取特征，并通过Softmax分类，实现端到端（end-to-end）自适应学习模式。

[2] 总结了这两种算法的框架模型，基于深度学习模型数字图像篡改分析架构将像素作为输入，并且由三种层组成：图像处理层，用于特征表示的若干卷积层，以及用于分类的若干完全连接的层。端到端自动检测系统最大的优势是自动学习参数。接下来我们分析下近年来几篇基于深度学习模型数字图像篡改分析论文。

---

<br><br>

1.A deep learning approach to detection of splicing and copy-move forgeries in images [3]

这篇论文是2016年发表在WIFS，关于深度学习模型数字图像篡改的开山之作。

文章提出了一种基于深度学习技术的伪造图像伪造检测方法，该方法包含10层卷积层，其中第一层为SRM富模型（spatial rich model）[4] 预处理层，有助于加快网络收敛；输出使用SVM二分类；中间层卷积核多为3x3。

早年算法，整体来看比较中规中矩，只能做到检测是否篡改（Detection ），无法做到定位（Localization ），同时使用的是CASIA v1.0、CASIA v2.0、Columbia gray DVMM 这三个数据库完成实验。<br>

2.Detection and Localization of Image Forgeries using Resampling Features and Deep Learning [5]

这篇文章是2017年发表在CVPR Workshop，使用重采样算法实现篡改检测的算法。

算法主要包含2个步骤，第一，通过重叠的图像块计算重采样随机特征；第二，使用深度学习分类器和高斯条件随机场模型来创建热力图，从而定位篡改区域。算法先将图像块重叠堆放，然后使用CNN特诊提取，接着建立统计学模型，根据统计直方分布，分析篡改小块的位置。

上图显示了数字图像成像过程，其中成像过程需要经历：模拟信号处理、数字信号处理，其中模拟信号处理包含镜头偏移、CFA插值等；数字信号处理包含了去马赛克、伽马矫正、重采样等等，而不同的图像的重采样程度是不同的，经过篡改必然导致篡改部位重采样率的差异，文章的算法正是源于这个原理。<br>

3.Tampering Detection and Localization through Clustering of Camera-Based CNN Features[6]

这篇文章也是发表在CVPR Workshop的基于CNN篡改检测、定位的文章。

文章提出了一种图像篡改检测和定位算法，利用不同相机模型留在图像上的特征足迹，最直接的原理即是检测图像的拍摄相机来源，由于不同型号相机拍摄的照片所携带的模式噪声不一样，以此鉴定图像是否篡改、篡改定位。

这篇文章是作者 Bondi 在2016年发表[7]的工作的延续，[7]通过建立CNN+SVM模型，鉴定数字图像拍摄来源，但是存在一定的缺陷，即是相同型号相机生成的图像篡改无法被检测出来。算法的基本模型考虑到了两层因数：第一，CNN检测到的部位是否被篡改（即f(i, j)）；第二，我们知道纹理度低的部位的篡改明显存在误差，因此，作者根据纹理度计算公式对每个图像小块计算置信度因子（即Q(i, j)），其中Q(i, j)定义为：

最后将两个计算结果合成后得到篡改部位的置信度热力图，1.CNN输出f做K-means聚类；2.对检测散点图做密度去噪（检测最小篡改粒度为128x128）；3.并使用纹理度去噪（不计算纹理度低的检测结果）；4.最终使用平均篡改率（篡改点÷所有测点）阈值判定输入图像是否为篡改图像，得到最终的结果：

算法使用Dresden图像库，该数据集由来自26种不同相机模型的超过16k图像组成，描绘了总共83个场景，关于篡改图像如何制作，本文作者没有解释。这篇文章做得相对完整，从图像切片（patches）->CNN特征提取/Q纹理度换算置信度->整合块热力图->除噪，每个步骤都很扎实。

<br>

4.Reliability Map Estimation For CNN-Based Camera Model Attribution [8]

这篇文章是[6]经过简单修改后重新发的文章，本质上没有很大的变化。

文章提出了一个置信度（Reliability）图模型，将补丁块（Patch）放入CNN先训练模型、提取特征，然后得到热力图，得到最终的置信度热力图后除噪过滤出篡改部位。

算法主要分为两部分，CNN特征提取、置信度图去噪，其中CNN特征提取使用了预训练（Pre-Trained）方法和迁移学习方法（Transfer），上面是算法在训练集、校验集的正确率。<br>

5.Deep Matching and Validation Network: An End-to-End Solution to Constrained Image Splicing Localization and Detection [9]

文章发表在2017 ACM on Multimedia Conference，作者代码在Gitlab: https://gitlab.com/rex-yue-wu/Deep-Matching-Validation-Network

文章考虑的主要问题是限制性的图像篡改检测问题(constrained image splicing detection (CISD) problem)，即问题提供查询图像Q和潜在篡改来源图像P，需要从图像Q中检测是否有物体来源于图像P，问题更倾向于Copy-Move篡改模型。文章提出一种深度匹配网络(Deep Matching and Verification Network (DMVN))，扩展了底层拼接问题的公式，以考虑两个输入图像，一个查询图像Q和一个潜在的供体图像P。

文章提到创新点为：(1) 相比传统算法，DMVN是一种端到端(End-to-End)模型；(2) 相比其他深度学习算法，DMVN不仅特征提取自动，而且后处理也是非干预；(3) 创新地提出深度学习模块（Deep Dense Matching和Visual Consistency Validator），用于执行视觉匹配和验证。

仔细地看了下论文，算法主要包含以下流程(1) CNN Feature Extractor：使用的是VGG-16；(2) Deep Dense Matching：使用的是inception-based Mask Deconvolution模块，来源于[10]；(3) Visual Consistency Validator：用于强制模型聚焦于两个图像中的分割区域，将两个Mask快融合起来。总体看来，是将多个深度学习网络拼接起来。

<br>

6. Image Splicing Detection via Camera Response Function Analysis [11]

文章发表在2017 CVPR上面，主要采用相机响应函数（Camera Response Function, CRF）分析篡改部位的轮廓直方图差异，并以此鉴定Copy-Move和Splicing篡改。非线性CRF对于图像处理有很大作用，很多图像去燥算法有所使用，实验表明篡改区域的CRF值比起未篡改区域有所不同。虽然目前的研究未知CRF如何成为模糊估计中的噪声源，但是文章证明CRF是一个关键信号，有助于区分不同的边缘和伪造的拼接边界。

4. Conclusion

笔者尝试重现了[6] Bondi的算法，该算法聚类过程的重现代码已经开源：https://github.com/grasses/Tampering-Detection-and-Localization/blob/master/experiment/2-2.ipynb。其中：<br>（1）CNN特征提取的算法比较普通；<br>（2）后处理中滤波算法显得比较出众，主要有两种：①对CNN输出执行度做L1范式滤波，②对于去除低文理区域预测结果，对于图像纹理度指数获取算法，网上、文献里面都没有找到，应该是作者自己的研究。

上图显示了原始图像（左侧）与该图像的纹理度热力图（右侧），纹理度可知：最有可能篡改的部位为树，因此在算法[6]滤波时候存在一定的可能性过度过滤噪点。<br>

另一方面，笔者在自己的文章中提出了一种可靠性融合算法（Reliablity Fusing Map (RFM)），主要研究CNN输出的置信度向量关系，并通过两步融合生成篡改区域二值图，该研究主要贡献为：（1）获得更高的准确性; （2）降低聚类的计算复杂度; （3）将定位细度从64x64提高到32x32。下图主要显示了算法的实验结果：

上图显示了用[6] Bondi等人提出的方法和笔者提出的RFM方法进行对比实验的结果。（a）-（c）分别示出了原始图像、伪造图像和真实篡改区域图像。（d）和（e）分别表RFM算法对于未篡改图像和篡改图像的检测结果，（f）显示Bondi等人的模拟实验结果。 我们篡改检测将定位的细度从64x64图像块提高到32x32图像块，说明RFM算法可以检测更细小的篡改痕迹（参见（e）和（f））。

简单做个总结：

• 大部分深度学习算法离不开传统算法的原理，基本上都源于数字图像的成像过程留下的模式噪声；
• 目前算法基本上可以同时解决检测篡改（Detection ）、篡改定位（Localization ）；
• 深度学习鉴定复制-黏贴（Copy-Move）的算法比较少，关键是如何让算法认识到寻找两个相似物体，基本上都是研究接片检测（Image splicing）；
• 目前的主要算法可以分为：传统手工特征统计学习模型；机器学习半自动化模型；深度学习全自动模型(End-to-End)；

---

5. Reference

• [1] 朱叶. 数字图像复制—粘贴篡改盲取证关键技术研究[D]. 吉林大学, 2017.
• [2] Qian, Y., Dong, J., Wang, W., & Tan, T. (2015, March). Deep learning for steganalysis via convolutional neural networks. In Media Watermarking, Security, and Forensics 2015 (Vol. 9409, p. 94090J). International Society for Optics and Photonics.
• [3] Rao, Y., & Ni, J. (2016, December). A deep learning approach to detection of splicing and copy-move forgeries in images. In Information Forensics and Security (WIFS), 2016 IEEE International Workshop on (pp. 1-6). IEEE.
• [4] J. Fridrich, and J. Kodovsky ́, “Rich models for steganalysis of digital images,” IEEE Transactions on Information Forensics and Security, vol. 7, no. 3, pp. 868-882, June 2012.
• [5] Bunk, J., Bappy, J. H., Mohammed, T. M., Nataraj, L., Flenner, A., Manjunath, B. S., ... & Peterson, L. (2017, July). Detection and localization of image forgeries using resampling features and deep learning. In Computer Vision and Pattern Recognition Workshops (CVPRW), 2017 IEEE Conference on(pp. 1881-1889). IEEE.
• [6] Bondi, L., Lameri, S., Guera, D., Bestagini, P., Delp, E. J., & Tubaro, S. (2017, July). Tampering Detection and Localization Through Clustering of Camera-Based CNN Features. In CVPR Workshops (pp. 1855-1864).
• [7] Bondi, L., Baroffio, L., Güera, D., Bestagini, P., Delp, E. J., & Tubaro, S. (2017). First steps toward camera model identification with convolutional neural networks. IEEE Signal Processing Letters, 24(3), 259-263.
• [8] Güera, D., Yarlagadda, S. K., Bestagini, P., Zhu, F., Tubaro, S., & Delp, E. J. (2018). Reliability Map Estimation For CNN-Based Camera Model Attribution. *arXiv preprint arXiv:1805.01946.
• [9] Wu, Y., Abd-Almageed, W., & Natarajan, P. (2017, October). Deep matching and validation network: An end-to-end solution to constrained image splicing localization and detection. In Proceedings of the 2017 ACM on Multimedia Conference (pp. 1480-1502). ACM.
• [10] Szegedy, C., Vanhoucke, V., Ioffe, S., Shlens, J., & Wojna, Z. (2016). Rethinking the inception architecture for computer vision. In Proceedings of the IEEE conference on computer vision and pattern recognition (pp. 2818-2826).
• [11] Chen, Can, Scott McCloskey, and Jingyi Yu. "Image Splicing Detection via Camera Response Function Analysis." Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2017.

---

本文出自 夏日小草,转载请注明出处:http://homeway.me/2018/08/05/tamper-detection-an-overview

by grasses 2018.08.05