程序分析与神经网络后门_新加坡管理大学孙军

原文来自微信公众号“编程语言Lab”：程序分析与神经网络后门
搜索关注“编程语言Lab”公众号（HW-PLLab）获取更多技术内容！
欢迎加入编程语言社区 SIG-程序分析，了解更多程序分析相关的技术内容。
加入方式：添加文末小助手微信，备注“加入 SIG-程序分析”。

作者 | 孙军@新加坡管理大学
整理 | 纪妙

作者简介

孙军，新加坡管理大学教授，研究方向包括形式化方法、软件工程、安全等。爱好爬山、攀岩等。

个人主页：https://sunjun.site

视频回顾

SIG-程序分析技术沙龙回顾｜如何用程序分析的技术证明神经网络没有后门

1. 神经网络有各种问题

传统的程序有各种各样的问题，比如大家熟知的错误，漏洞，后门等等。我猜大家可能不难同意我们必须通过测试，分析甚至验证来保证传统程序的质量。

神经网络实质上不过是一种相对特殊的 (基于 Tensorflow 或者 PyTorch 的 API 的) 程序。只是这类程序的架构、设计比较特殊而已。这类程序也有很多类似传统程序的问题。我们可以说所有的传统程序里的问题，基本上神经网络都有。比如说传统程序会出错、有安全漏洞，神经网络里也有。

关于神经网络的问题，我给大家举几个例子。

第一个例子是神经网络也容易出错。 神经网络不像传统程序是基于逻辑来做判断然后出结果的，而是通过大量训练来调整里面的参数然后基于这些参数做预测的。因为神经网络通常很复杂（比如参数巨多），有些犄角旮旯的地方就训练不到。结果就是很容易找到反例让它出错。

比如下图所示的例子，有人（UC Berkerly 的一个团队）研究发现在停车牌（STOP）上面喷点漆或者贴个纸条，自动驾驶车里基于神经网络的路标识别系统就会识别出错。比如上面的路标会被错误地识别成 “限速 45”。这当然是个安全攸关的问题，因为有这些有停车牌的地方需要停车是有原因的，一旦停车牌被错误识别，自动驾驶车就不会停车，从而可能造成事故。这个例子从传统程序的角度看就是一个程序错误。

第二个例子是一个公平性的问题。 下图显示的是美国某个警察局训练的一个神经网络的输出。给定一个罪犯的犯罪记录、罪犯的背景，如人种、年纪等等，这个神经网络被用来预测一个罪犯会不会在 6 个月内再犯。如果预测说该罪犯再犯的几率很大，那么当然警察们需要对他多加注意。研究发现这个神经网络有很大的公平性的问题。比如，下图中显示的黑人，虽然她的犯罪记录要比旁边的白人少很多，但这个神经网络就是预测她再犯的几率大得多。实际上，只要是黑人，再犯的几率就会被预测得很高。这样当然不公平。当然你也可以说这不是个问题，因为历史记录就是黑人更容易犯罪。但我们想不想要这样一个系统来作为我们行动的指导，从而加深偏见，这个至少值得考虑。就我们对公平的定义而言，我们可以说这个神经网络不公平。传统软件当然也可能有公平性的问题，但不严重，因为除非你的程序逻辑愣加了某些有偏见的判断，要不然一般不会有问题。但神经网络就不同了，这些偏见很可能悄悄的通过数据或者训练过程被加进去了。

再比如传统的程序会有后门，神经网络里也有。 当然传统程序的后门不算是一个特别大的问题，因为传统程序的后门基本就是在某种特定的情况下，触发了一个特定的语句。比如在某个地方加一个特殊的 if-then-else。这种后门在有了代码审查等一系列常规检查以后，加起来还是挺难的。但是在神经网络里加后门非常非常容易。为什么神经网络的后门是个严重的问题？因为神经网络大家都看不懂，所以里面的后门基本上很难被发现。后面我会具体讲神经网络的后门问题，包括怎么加和怎么防范。

再比如传统程序会有敏感信息泄露的问题，神经网络也是一样。 神经网络的信息窃取相对更容易。你花费了很大力气收集了大量数据训练了一个模型，别人随便就可以把模型偷走。比如他只要能提交一定数量的数据（比如几千个），生成对应的预测。然后他自己就可以根据这些数据训练一个模型，基本能做到和你的模型有差不多的准确率。

因为传统软件的各种各样的问题，我们知道传统程序必须做各种各样的测试和分析。相对而言，神经网络现在还处于一个刚起步的阶段，大家主要还是在把能做的赶紧堆一块，看看效果再说。还没有真正的把那些安全相关的问题理清楚，继而提出解决方案。所以这块还是有很多研究可以做的。

2. 我们要怎样保证神经网络的质量？

那么具体我们需要做什么呢？

我们可以从传统软件那边吸取经验。经过几十年的发展，我们有一系列的方法来把控传统软件的质量。我大概把这些方法分成 4 类，即 理论、工具、流程 和 标准。

理论：理论的部分是指我们发明了各种各样的基于逻辑的用来分析程序的理论，比如说 Hoare Logic，Type Theory，和 Temporal Logic 等等。正因为有了这些理论，我们可以发展各种程序分析技术（比如测试，验证，以及静态分析），并且讨论它们的完备性或正确性。

工具：我们同时也开发了各种各样的工具。比如说我们现在一整个行业提供各种各样的软件开发，测试以及分析的工具。甚至如果你对软件的质量要求很高的话，我们也有可以做形式化验证的各种工具，比如模型检测器，理论证明器等等。

流程：当然我们同时也认识到这些理论和工具并不能完全消除传统程序的问题，所以我们也发展了各种各样的软件开发的流程。这些流程是用来指导程序员在开发软件的时候，需要做哪些事情怎样交流等等，以帮助程序员尽量的减少各种各样的软件问题。现在比较出名的是敏捷方法。

标准：最后我们还有各种各样的标准来告诉软件开发人员什么的软件要达到什么的标准。比如这个程序只是个手机上的小游戏，那么你只要能达到一定的稳定性，能用就行。但如果这个程序是用来控制一个安全相关的系统的，比如说控制着一个发电站的系统，那么你就需要达到一个更高标准的安全性。那么你怎么达到一个更高的标准呢？这些标准就可以告诉你必须要用哪些方法哪类工具测试分析你的软件等等。

以上这些东西当然不能完全把所有软件的问题解决，但是至少我们可以把软件的质量控制在一个比较可以接受的范围。虽然时不时还是会有严重的软件漏洞被发现，但至少正常情况下，一般都够用了。

而就神经网络这种特殊的程序而言，我们还欠缺保证神经网络的质量理论、工具、流程和标准。或者一句话来说：现在基本啥都没有。

3. 我们的研究

我们最近开始了一个比较大的项目，想要把这些东西都填补上。比如关于神经网络分析的理论，传统的程序分析绝大多数是基于几个基础的概念，而这些基础的概念在神经网络要么缺失要么还有待完善。比如其中一个很基础的概念是因果关系。传统程序的因果关系是很明确的。比如说一个程序的结果出错了，通过分析控制流和数据流，我就可以知道，哪些语句有可能影响我最后这个结果。这个控制流和数据流就是很明确的因果关系。但神经网络中的因果关系就不是那么明确了。神经网络里的大多数神经元都是到处相连的，那么理论上对于错误的结果，所有的神经元都是有责任的。如果所有的神经元都有责任，那我要怎么做错误定位和修复？

另一个基础的概念是可解释性。传统程序的可解释性一般不是个问题。因为传统程序大多是人写的，那么只要找几个专家、有够多的时间，我们是可以把它理解的。假如确实有个很难的错误要修复，那么我只要找专家来看，我们还是相信最后肯定可以看懂然后对症下药。而神经网络大家一般认为可解释性比较差，这让很多事情变的很难办。那么我们要研究怎么定义和提高神经网络的可解释性，并用它来解决上述神经网络的问题。

另一个基础的概念是抽象。传统程序的开发以及分析都是基于各种各样的抽象的技术。比如程序开发的时候我们有基于函数，类，包等等不同的结构化的抽象，程序分析的时候有抽象解释等等方法。而神经网络的本身并没有很多