WAIC2024：图像内容安全黑科技助力可信AI发展_图像安全领域_2024图像篡改检测

先自我介绍一下，小编浙江大学毕业，去过华为、字节跳动等大厂，目前阿里P7

深知大多数程序员，想要提升技能，往往是自己摸索成长，但自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！

因此收集整理了一份《2024年最新网络安全全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友。

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上网络安全知识点，真正体系化！

由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新

如果你需要这些资料，可以添加V获取：vip204888 （备注网络安全）

正文

2 生成式图像鉴别

相较传统的文本检测任务，生成式篡改文本检测任务需要进一步区分篡改和真实文本。由于真实和篡改文本分类难度不一致，训练过程中网络无法平衡两类的学习过程，导致在测试过程中两类检测精度差异较大。上述挑战极大地限制了篡改文本检测方法的性能。因此，如何准确地捕捉局部纹理差异性，同时平衡篡改和真实类别学习难度，是目前篡改文本检测研究的重要方向。

该任务的难点主要分为两点

• 生成出来的图像场景繁多，不能穷举，不能通过细分来一一训练解决；
• 有些生成图和真实图片的相似度过高，很贴近于人类的判断，对于机器而言，真伪判定只会更难

为此，合合信息提出了一种基于HRNet的编码器-解码器结构的图像真实性鉴别模型，结合图像本身的信息包括但不限于噪声、频谱等，能够在不用穷举图片的情况下，利用多维度特征来捕捉真实图片和生成式图片细粒度的视觉差异，达到高精度鉴别目的。模型结构如下图所示

2.1 主干特征提取通道

上述模型的第一个通道由若干主干提取网络层组成

**主干提取网络（Backbone Network）**在计算机视觉任务中扮演着关键的角色，通过一系列的卷积层、池化层和激活函数等操作，从原始图像中提取出各种特征，这些特征具有较好的局部感受野和平移不变性，能够捕捉到图像的结构和纹理信息，负责提取图像特征的主要组成部分。

主干网络的目标是将输入的图像转化为高级语义特征表示，通常是一系列的特征图。通过多层的卷积和非线性激活函数，主干网络可以学习到图像中的抽象特征表示。这些特征表示具有层次化的结构，能够逐渐提高语义表达能力，从低级的边缘、角点到高级的物体形状和语义信息，为后续的任务提供了更丰富和有意义的输入。同时，主干网络通常采用多层卷积和池化操作，可以在不同的层次上提取特征。这样的设计使得网络对于不同尺度的目标具有一定的感知能力，能够处理从小物体到大物体的尺度变化。在一些任务中，主干网络还可以进行特征融合操作，将来自不同层次的特征进行组合，以获取更全局和综合的特征表示。例如，通过连接或级联多个分辨率的特征图，可以获得更好的目标检测或语义分割结果。

2.2 注意力模块

**注意力机制（Attention Mechanism）**在计算机视觉任务中发挥着重要的作用。它是一种模拟人类视觉系统中注意力机制的方法，通过对输入的图像或特征进行加权，将注意力集中在具有重要信息的区域上，从而提高任务的性能和效果。

举例而言，在目标检测任务中，注意力机制能够帮助模型更关注感兴趣的目标区域，提高检测的准确性和鲁棒性。通过将注意力权重应用于特征图中的不同位置，可以突出目标的位置并抑制背景信息；在图像分类任务中，注意力机制可以提高模型对图像中重要区域的关注度，减少对无关区域的注意力分配。通过将注意力权重应用于特征图的不同通道，可以选择性地突出重要的图像特征，提高分类的准确性；在语义分割任务中，注意力机制可以帮助模型更好地理解图像的语义结构。通过对特征图的每个像素位置应用注意力权重，可以增强重要的语义区域并抑制非重要区域，从而提高分割的精度和细节。

而在本文介绍的图像生成任务中，注意力机制可以用于生成具有更好质量和多样性的图像。通过对生成器模型的输入特征进行加权，可以指导生成过程集中在重要的特征或区域上，生成更真实的图像结果进行对抗训练。

现在热门的Transformer也正是基于注意力机制构建

2.3 纹理增强模块

对于纹理缺失的截图图像鉴别而言，纹理增强模块扮演着重要的角色。它的作用是通过增强图像的纹理信息，提供更丰富、更清晰的视觉特征，从而改善图像分析和理解的效果。

纹理增强模块首先对输入图像进行预处理，包括去噪、平滑等操作，以减少噪声对后续处理的影响；接着利用各种纹理特征提取算法，如局部二值模式（Local Binary Patterns, LBP）、**方向梯度直方图（Histogram of Oriented Gradients, HOG）**等，提取图像中的纹理信息。根据提取的纹理特征，使用图像增强算法对图像进行增强，如调整对比度、增加锐度等，使纹理信息更加清晰和鲜明。最后，根据具体任务的需求，可以对增强后的图像进行后处理，如去除无关的纹理信息、进一步提取图像特征等。

总之，纹理增强模块可以帮助算法在低对比度、模糊、噪声等不良环境下更好地工作，提升算法的鲁棒性和性能。

3 OCR对抗攻击

在印刷体的文字识别领域，开展最早，且技术上最成熟的是国外的西方文字识别技术。早在 1929 年，德国的科学家Taushek已经取得了一项**光学字符识别(optical character recognition, OCR)**专利。自上个世纪五十年代以来，欧美国家就开始研究关于西方各个国家的文字识别技术，以便对日常生活中产生的大量文字材料进行数字化处理。经过长时间的不断研究和完善，西文的OCR技术已经有一套完备的识别方案，并广泛地用在西文的各个领域中。

说到光学字符识别大家可能比较陌生，但或多或少都应该听说过OCR，通俗来讲，OCR技术采用电子设备（例如扫描仪或数码相机）检查纸上打印的字符，然后用字符识别方法将形状翻译成计算机文字。人们会出于生活、工作需要，拍摄自己的相关证件、文件并发送给第三方，这些图片上承载的个人信息可能被不法分子使用OCR技术识别提取并泄露。

那么什么是**对抗攻击（Adversarial Attack）**呢？这是近年来深度学习研究中出现的一个新问题，Szegedy等在图像分类问题上发现深度神经网络容易遭受到对抗样本的攻击，从而威胁到神经网络的安全性。对抗样本是指在图像上添加一些不影响人眼判断的干扰噪声，但能有效的迷惑深度模型，使其作出错误判断的样本。如下图左侧是一张大熊猫的图像，当添加一个噪声生成右侧的对抗样本。对于某个神经网络，能够正确的判定左图为大熊猫，却错误的判定右侧为长臂猿，而且相应的置信度为99.3%。而对于人眼来说，左右两张图像并没有明显的差异。

对抗样本产生的机理比较复杂，通常来说较大的模型参数对输入信号具有放大作用，某些微弱的信号被严重放大之后会对分类器产生干扰。使用正则化技术能够在一定程度上减弱对抗样本的攻击，但是效果非常有限。目前比较有效的防御手段是生成足够的对抗样本，然后将这些样本添加到训练集中进行二次训练，这样获得的模型则对大多数对抗样本具有较强的防御能力。

基于个人、企业业务的文件资料保密需求，合合信息进行了创新技术探索，研发了OCR对抗攻击技术来进行文档图片“加密”。该技术可在不影响肉眼观看与判断的情况下，对场景文本或者文档内文本进行扰动，对包含中文、英文、数字等关键信息的内容进行“攻击”，防止第三方通过OCR系统读取并保存图像中所有的文字内容，降低数据泄露的风险，以此达到保护信息的目的。

4 助力可信AI向善发展

图像安全的重要性与日俱增，标准规范的出台迫在眉睫。合合信息与中国信通院等权威机构一道，携手国内顶尖院校、研究机构及企业，共同探索AI技术在图像领域的可信化落地这一深远命题，助力科技向上的同时向善发展。

中国信通院牵头启动了《文档图像篡改检测标准》制定工作，合合信息、中国图象图形学学会、中国科学技术大学等科技创新企业及知名学术机构联合编制。

《文档图像篡改检测标准》将为文档图像内容安全提供可靠保障，助力新时代AI安全体系建设。作为牵头方，中国信通院表示，《文档图像篡改检测标准》将基于产业现状，围绕“细粒度”视觉差异伪造图像鉴别、生成式图像判别、文档图像完整性保护等行业焦点议题，凝聚行业共识，以期为行业提供有效指引。

总结

近期，合合信息相关产品接连获得中国信通院在智能文档处理、OCR智能化领域的高分评级。智能文档处理系统评估结果显示，AI核心能力方面，合合信息产品在NLP领域的文本分类、知识图谱领域的实体识别、关系抽取及OCR领域的字符识别、文本行识别均获得5分评分。合合信息智能文档处理产品获得“5级”评定。据悉，“5级”为该模块最高评定等级。

OCR评估中，合合信息智能文字识别产品顺利通过全部7项基础类功能指标测试以及9项增强类功能指标测试，获得“增强级”评级。评估报告认为，公司智能文字识别产品展现出良好的性能和服务成熟度。以具有较大难度的证件类和票据类性能测试为例，面对旋转、阴影、反光、褶皱、形变、模糊、多语言、低像素、光照不均等复杂场景，合合信息智能文字识别产品均有较高的识别准确率，字符准确率分别为99.21%和99.59%，字段准确率分别为97.87%和98.42%。

测试结果还显示，合合信息智能文字识别产品支持超过50种复杂语言的识别，为全球化、多语言背景下的信息智能识别提供了技术支撑。现阶段，公司已获得超百项自主知识产权发明专利，为全球超过200个国家和地区的上亿用户提供智能文字识别产品及AI服务。未来，公司将持续关注图像领域新需求、新动态，用“过硬”的AI为行业发展注入安全感。

给大家的福利

零基础入门

对于从来没有接触过网络安全的同学，我们帮你准备了详细的学习成长路线图。可以说是最科学最系统的学习路线，大家跟着这个大的方向学习准没问题。

同时每个成长路线对应的板块都有配套的视频提供：

因篇幅有限，仅展示部分资料

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化的资料的朋友，可以添加V获取：vip204888 （备注网络安全）

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

888 （备注网络安全）**
[外链图片转存中…(img-uj8mby1m-1713419041383)]

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！