合合信息AI图像内容安全新技术亮相WAIC2023，防范“生成式造假”_内容安全图片检测用什么模型

开年以来，多个图像生成软件在全球迅速蹿红，其作画逼真程度“技惊四座”。AI一路“狂飙”，让生成、篡改等多形式的图片伪造的门槛变得更低，由此引发的隐患也令人忧虑。

图像是信息的主要载体之一，利用AI进行图像造假的行为，是AI可信化发展需要应对的重点问题。在本届世界人工智能大会（WAIC 2023）上，中国信息通信研究院（简称中国信通院）围绕“多模态基础大模型的可信AI”主题举办了专项论坛。论坛上，合合信息AI图像内容安全技术方案获得广泛关注。该方案可精准定位截图篡改痕迹，对生成式图片进行智能判别，防止不法分子利用技术手段非法爬取图片上的信息。

 图说：合合信息智能创新事业部总经理唐琪现场介绍合合信息AI图像安全技术应用

用AI守护AI图像内容安全，合合信息新技术很“实用”

去年的人工智能大会上，合合信息首次展示了“PS篡改检测”技术，“像素级”的识别精确度让现场参观者感叹，在识别证件、票据等各类重要的商业材料中的PS痕迹方面，AI真的是“火眼金睛”。

 图说：合合信息AI图像篡改检测技术应用效果展示

今年，AI图像篡改检测“黑科技”持续优化升级，应用面也拓展至“截图篡改检测”。相较于去年的自然场景图像，对用户生活影响更大的资质证书、文档合同、银行保单等截图若被不法分子利用，所承受的财产损失难以估量。

据了解，升级后的AI图像篡改检测技术可检测包括转账记录、交易记录、聊天记录等多种截图，无论是从原图中“抠下”关键要素后移动“粘贴”至另一处的“复制移动”图片篡改手段，还是“擦除”“重打印”等方式，图像篡改检测技术均可“慧眼”识假。

 图说：“重打印”篡改图片检测示例：将一张图片输入到合合信息AI图像篡改检测模型中，模型便能够判别这张图像是否被篡改，并且定位图像的篡改区域

该技术的主要难点在于，与证照篡改检测相比，截图的背景没有纹路和底色，整个截图没有光照差异，难以通过拍照时产生的成像差异进行篡改痕迹判断，现有的视觉模型通常难以充分发掘原始图像和篡改图像的细粒度差异特征。

为此，合合信息提出了一种基于HRNet的编码器－解码器结构的图像真实性鉴别模型，结合图像本身的信息，包括但不限于噪声、频谱等， 从而捕捉到细粒度的视觉差异，达到高精度鉴别效果。

针对频上“热搜”的AIGC话题，合合信息研发了关于AI生成图片鉴别技术，用于判断图片是否由AI生成。AIGC生成图像识别的一大难点在于AI生成的图像场景繁多，机器难以判别。合合信息基于空域与频域关系建模，能够利用多维度特征来分辨真实图片和生成式图片的细微差异。

此外，合合信息对OCR对抗攻击技术展开了创新性的研究。当人们在网上发送含有个人信息的图片时，这些资料包含的信息很可能被不法分子使用OCR技术提取并泄露。OCR对抗攻击技术可对场景文本或者文档内文本进行扰动，为个人或企业的重要文件“上锁”，防止第三方通过OCR系统读取并保存图像中所有的文字内容，降低数据泄露的风险，达到保护隐私信息的目的。

 图说：合合信息OCR对抗攻击技术应用效果展示，可对关键信息进行遮盖，在不影响肉眼观看的情况下阻止机器自动爬取

推动图像内容安全行业发展标准建立，助力可信AI系统化落地

中国信通院发布的《人工智能白皮书（2022年）》中提到，人工智能正在迈入“创新驱动、应用深化、规范发展”的新阶段。可信AI的实现，需要政府、企业、高校等多方力量的协同。行业标准的制定，或将为中国“可信AI”在机器视觉、图像处理领域的体系建设提供有力支持。

为贯彻落实《中华人民共和国网络安全法》《生成式人工智能服务管理办法（征求意见稿）》等文件中对于AI服务的规范性要求，系统性建立图像内容安全行业发展秩序，今年6月，中国信通院牵头启动了《文档图像篡改检测标准》制定工作，合合信息、中国图像图形学学会、中国科学技术大学等科技创新企业及知名学术机构联合参与编制。

据悉，该项标准将基于产业现状，围绕“细粒度”视觉差异伪造图像鉴别、生成式图像判别、文档图像完整性保护等行业焦点议题，凝聚行业共识，以期为行业提供有效指引。合合信息智能创新事业部总经理唐琪在论坛分享中表示，《文档图像篡改检测标准》制定项目的启动，是AI图像内容安全体系建设之路上的重要的里程碑。期待更多研究机构、企业主体参与进来，共同推动AI服务规范性的整体提升和行业发展秩序的建立，助力科技向上而行，向善发展。

可信AI的健康发展，除了标准引领，也需要“硬科技”支撑。合合信息深耕智能文字识别、智能图像处理领域，技术成果获权威机构及市场认可。最近一个月内，公司智能文档处理产品通过中国信通院“可信AI—智能文档处理系统”评估工作，并获得“5级”评定。“5级”为该模块最高评定等级。

目前，合合信息AI技术已落地于银行、保险、证券、制造、政务等近30个行业，服务全球超过200个国家和地区的个人及企业用户。未来，合合信息将与学术、产业合作伙伴共同助力AI图像内容行业的安全和可信发展，打造上海人工智能发展的亮丽名片。