百度世界大会公开课 | 人工智能的安全威胁：深度学习中的攻防对抗分析_面向智能学习算法攻防

9月15日，“万物智能—百度世界2020”在线上召开。大会联合央视新闻，用线上发布会的形式，面向行业、合作伙伴、广大用户和媒体，发布了百度人工智能全年最新、最前沿的技术、产品、解决方案等成果。其中，在百度飞桨与生态公开课环节，来自百度研究院的资深安全研究员仲震宇带来了《深度学习模型的安全问题与防护》的技术分享。

在数据丰沛的时代，计算机可以通过自我学习获得算法，把数据转化为知识。深度学习是当前机器学习技术中最为炙手可热的一种。深度学习的实质，就是通过构建具有很多隐层的机器学习模型和海量的训练数据，来学习更有用的特征，从而最终提升分类或预测的准确性。

通俗地讲，图片识别就是通过抓取数据的核心图像特征，从而辨识数据的类型并将其归类。比如，如果想判断图片中是一辆摩托车，那就只要抓取“有两个轮子”“有踏板”等特征便可以完成判断。过去由于图片识别的精准度不高，这种判断很难由机器完成，深度学习的出现便让这一问题迎刃而解。

近年来，随着深度学习技术的发展和各种模型的不断涌现，基于深度学习的计算机安全应用研究也成为了计算机安全领域里的一个热门研究方向。深度学习模型容易受到对抗样本的恶意攻击，这在业内已不是新鲜事。对图像数据添加人类难以通过感官辨识到的细微扰动，便可“欺骗”模型，指鹿为马，甚至无中生有。为实施此类攻击，攻击者往往需要提取模型结构、参数，继而利用特定算法针对性地生成“对抗样本”，诱导模型做出错误的，甚至攻击者预设的判别结果。

据介绍，在真实的物理世界中，依据这一原理，百度安全研究员已经进行了不少骚气的实验操作：

Blackhat欧洲大会上，我们重现了大卫科波菲尔让自由女神像消失的魔法。通过控制一辆Lexus背后的显示器上显示的画面，