可信任的人工智能（三）_explaining ai

在本系列文章的前两章我们介绍了人工智能模型的公平性(Fairness)、可解释性(Explainability)以及模型质量(Quality)的基本概念。这些都是构建可信任的人工智能平台的重要因素。在本文中我们将介绍IBM为建立可信任的人工智能推出的解决方案——IBM Watson Studio Trusted AI。

IBM Watson Studio Trusted AI介绍

IBM Watson Studio Trusted AI(原IBM Watson OpenScale)是IBM所提供的一项云原生服务。该服务能够追踪和度量人工智能模型的输出，确保其公平、可解释和符合规范。Watson Studio Trusted AI还可以辅助用户修正模型在生产或者准生产环境中发生的模型漂移(Drift)。

Watson Studio Trusted AI在IBM Cloud，基于x86或者Linux on Z的IBM Cloud Pak for Data 上均可用。

Watson Studio Trusted AI不仅仅可以监控部署在IBM Cloud或者在IBM Cloud Pak for Data上的模型，还可以监控部署在AWS SageMaker、Azure ML Studio、Azure ML Service的模型。对于部署在其他服务之上的模型，用户也可以通过在服务中安装Watson OpenScale SDK来进行监控。

要使用Watson Studio Trusted AI对模型进行监控，需要在模型部署后持续对模型在准生产或者生产环境中的表现进行记录。这些记录包括反馈记录(Feedback Logging)和荷载记录(Payload Logging)。

反馈记录是指包含了特征(Feature)和人工标注了标签(Label)的数据集。反馈记录通常是在模型上线后由业务人员在新的生产数据上获知了被评分数据的实际结果后进行标注而得到的。反馈记录一般是批量生成的。客户可以将反馈记录以CSV或者JSON的格式存储起来，然后通过Watson Studio Trusted AI的界面上传。

荷载记录(Payload)则是指包含了特征(Feature)和模型预测结果(而不是业务人员确认的实际结果)的数据。荷载记录在模型被调用的过程中产生的。它更像是模型评分服务的日志。对于每一条评分调用请求，模型评分服务需要将请求(Request)和响应(Response)的荷载(Payload)都按照Watson Studio Trusted AI要求的格式发送给Watson Studio Trusted AI记录下来。评分服务的请求(Request)中应该包含模型需要的特征的值。而评分服务的响应(Response)中除了包含模型需要的特征的值，还需要包含模型预测的结果(Target)，在可能的情况下还应该提供模型预测的一些中间结果——例如概率(probability)和原始预测(rawPrediction)。Watson Studio Trusted AI提供了SDK。利用这些SDK，客户可以在其模型评分服务中将上面提到的信息通过REST API发送给Watson Studio Trusted AI。

有些客户可能会对在模型评分服务中增加荷载带来的性能影响有所担心。针对这种情况，Watson Studio Trusted AI提供了批处理(Batch Processing)模式来处理荷载记录。在批处理模式下，荷载记录不会把每一个评分请求和响应都逐个发送给Watson Studio Trusted AI，而是会把这些信息记录在本地的Hive数据库里。对模型公平性、质量和漂移的分析可以使用本地的Spark分析引擎来完成，从而能大大提升分析的效率。Watson Studio Trusted AI的批处理模式即支持IBM分析引擎(Analytics Engine)的Spark也支持其他Hadoop生态系统中部署的Spark。

Watson Studio Trusted AI支持对模型的公平性、质量和漂移进行监控。用户可以对这些属性的性能指标设置阈值。当模型不能满足这些性能指标的阈值定义，Watson Studio Trusted AI会