技术实践分享 | 可解释机器学习原理及应用_样本的局部解释

本期讲师介绍：

字节，观远数据首席科学家。主导多个AI项目在世界500强的应用落地，多次斩获智能零售方向Hackathon冠军。曾就职于微策略，阿里云，拥有十多年的行业经验。

在商业领域的机器学习应用中，让业务方理解模型逻辑，提升对预测结果的信心，对于算法项目的推进与落地起着关键的推动作用。因此模型与预测输出的可解释性也日渐成为一个重要议题。在本次分享中，我们将介绍可解释机器学习的技术原理，以及在模型开发，项目落地中的一些应用案例介绍。

目录

1. 何为可解释性机器学习
2. 技术实现
3. 应用案例

为何需要可解释机器学习？

首先介绍下为什么需要可解释机器学习。平时在做机器学习的项目中，会碰到不同的场景，比如淘宝推荐系统，推荐了一些你可能感兴趣的商品，如果推荐的不准确，其实不会造成什么大的损失，或不好的影响。那这种场景下，只需要关注下模型的准确率，尽可能做的越高越好。

另外一种场景，像OCR光学字符识别，它是一个比较成熟的场景，基本上可以达到100%的准确率。而像其他一些需求预测产品，比如金融信用评级系统，医学诊断系统，它给出的是预测，比如需求预测接下来可能要买10箱可口可乐，假如预测多了，可能会造成货物囤积，直接造成经济损失。在这种情况下，我们对机器学习的输出是需要有要求的。还有信用评级，如果我申请了一个信用卡被拒绝了，我就会比较想知道为什么被拒绝，是不是对我的年龄或者性别有歧视等。还比如对Responsible AI这个话题，也会有涉及到这方面的需求，所以我们需要可解释机器学习，让模型输出预测的同时，也要输出预测变化的原因。

上图介绍了在面对一个黑盒的 AI模型时，其不同职能的人，比如企业管理者、客服、IT或是模型开发工程师，他们对于机器学习的输出是有不同诉求的。比如作为一个算法工程师，如果从黑盒的机器学习模型中得到的预测不好，和真实值偏差得非常远，那他可能会想为什么这个模型给了这样的预测，以及如何做能让模型更好。

总结下，第一，模型输出的影响重大，如果给出一个错误预测，代价会比较大，就需要可解释机器学习。第二，特别是对算法工程师来说，在开发模型中便于Debug。当然也有一些其他的应用场景，比如规避模型的Bias。现在社区上也有很多这方面的讨论，如果模型是有一些性别歧视，或者种族歧视的话，这个模型是不能上线的。还有在模型交互时，如果碰到业务方的挑战，能给出一些解释，也能提升业务用户的接受度。还有各种各样的审计需求、法规需求，像信用评级系统，如果在线上部署系统，就必须要符合透明性，或者可解释性的需求。

可解释机器学习的各种方法

下面我们切入正题，可解释机器学习的各种各样的方法。右边这张图，分为两个维度，一个是模型预测的准确率，另一个是可解释性。

当用一些简单的模型，如右下角的线性模型，Decision Tree决策树，或者一些概率图模型，他们的准确率可能会差一些，因为模型本身结构比较简单，但它们的可解释性会非常好。左上角，像神经网络或者一些集成学习方法，模型复杂度会非常高，准确率也会相应提高，但它的解释性就会差一点。

方法分类上，线性模型这种属于内在可解释模型。神经网络这种属于事后解释的方法，去打开黑盒看一下它里面到底是怎样来做预测的。还有些是模型特定的方法，像神经网络可以通过后续模型的梯度来做些解释。还有一些是黑盒的模型解释方法，像SHAP这些技术，它对模型没有任何要求，都可以做一些解释。

局部解释和全局解释，全局解释类似于线性模型，它的权重就是这个模型全局上的表现是怎样来做决策的。局部性的解释，相当于对某一条单独的样本给出些特定的解释。

接下来介绍一些内在解释性的模型，像线性回归、线性逻辑回归、决策树等。训练完这些模型后，通过系数和模型的结构就能得到一个解释。系数比较大，说明这个特征对整个输出是有比较大的影响的。系数小，影响就较小。这是自带的一个解释性质。

还有一些类似思路，比如RuleFit或者 Skope-rules这些软件包，可以从数据中提取一些规则，自动构建如右图中显示的这种规则。在预测的同时它的可解释性是非常强的。像朴素贝叶斯，kNN，可以通过其他的样本来进行解释。

还有一些其他的内在解释模型，大体方法也都是在一些简单模型上附加一些方法。像EBM或者 GAMxNN，它们属于广义加性模型，相当于在线行模型的基础上，多构建几个线性模型，每一个线性模型描述系统的一部分，然后把它们加起来。像 Facebook的 Prophet也是一个典型的加性模型，它会分别给出seasonality或trend这方面的一些解释。最近谷歌开源的 TFT，是一个时间序列的模型，它对于 attention机制做了特殊的处理，可以训练完之后，同时让注意力机制也可以作为一个对模型解释的输出。