互联网文本内容安全：腾讯云天御AI对抗实践_文本安全

作为国内领先的云解决方案企业，腾讯云在革新云端技术的同时，也肩负着保证互联网安全秩序、抵御黑产黑客的责任和使命。2018 QCon 北京“人工智能与深度学习实践”专场，腾讯云专家级研究员王国印分享了腾讯云在互联网安全防御上的系列解决方案和措施。本文整理了主要王国印老师的主要演讲内容，感兴趣的读者可移步观看王国印老师现场演讲视频。

一、引言

随着互联网、智能设备及各种新生业务的飞速发展，互联网上的数据呈现爆炸式增长，图片、视频、发文、聊天等互动内容已经成为人们表达感情、记录事件和日常工作不可或缺的部分。

这些日益增长的内容中也充斥着各种不可控的风险因素，比如不雅不良评论、垃圾广告、违法违规交易/宣传、低俗不文明等垃圾内容，需要各网站及平台亟待认真对待和管理的工作。

二、内容安全现状

不良不雅评论，违规违法交易严重影响主营业务的健康发展 。面对此类问题，企业主该如何解决呢？

一种方法是投入人力加大审核力度，此种方式的特点如下：

1.垃圾评论占比较小，人力逐条审核容易漏审

2.UGC评论数据规模巨大，每日多达数十亿、百亿等，人力成本太高

3.审核人员的招聘成本，管理成本较高

另外一种方式是招聘专业的AI工程师自建识别模型，此种方式特点如下：

1.AI工程师非常昂贵

2.内容安全一般不属于主营业务，投入较少

3.识别模型的效果受限于样本规模和样本质量，在数据标注上需要持续投入

最后一种途径是购买保险：将内容安全问题交给专业的公司来解决，从而实现“四两拨千斤”。

三、现有解决方案

当前识别此类垃圾内容的主流方法有：关键词过滤模式、关键词文法过滤模式、在打标数据上训练垃圾识别模型的机器学习模式，或融合关键词与机器学习的混合模式，其特点分析如下：

1.基于关键词过滤模式：该模式的优点是立竿见影生效快，但是由于分词歧义问题导致误杀，对未登录的case泛化能力弱，词库的维护成本高

2.基于关键词文法的过滤模式：由于考虑了关键词的上下文，此种方式相比关键词过滤拥有了一定的消歧义能力，但是关键词文法需要人工总结归纳，再加上上下文不易枚举，使得人力成本成倍上升，于此同时随着变种不断涌现，从变种中挖掘拦截文法，人力成本不可控

3.静态机器学习模型或融合了关键词文法过滤的混合模式：由于模型是静态的，上线之后，应对不了变种问题，使得模型很快失灵

新变种不断涌现，会快速绕过当前垃圾识别方法，使得当前的方法“失灵”，各公司不得不投入大量人力研究变种，归纳拦截策略或标注新样本，于此同时每个业务平台上的垃圾内容存在较大差异，同一垃圾类型，客户的尺度也存在较大差别。在节约人力成本的条件下，如何解决此类对抗性的问题，并做到客户级的个性化定制，成为困扰业界一大难题。腾讯云天御分别从：

1.Active learning方式挖掘高质量语料，降低人工审核量

2.打造数据闭环降低研发运维