Facebook开源模型可解释库Captum，这次改模型有依据了

作者 | Narine Kokhlikyan, Vivek Miglani, Edward Wang, Orion Reblitz-Richardson

译者 | Rachel

出品 | AI科技大本营（ID：rgznai100）

 

【导读】前脚 TF 2.0 刚发布，在 PyTorch 开发者大会首日也携 PyTorch1.3 版本而来。除此之外，还发布了隐私保护机器学习框架 CrypTen、模型可解释库 Captum 和下一代目标检测/目标分割研究平台 Detectron2。这篇文章介绍的是Facebook 在深度学习的可解释性问题上发布的新成果——Captum。

 

目前，机器学习模型已经在多个领域得到了广泛应用，并对数亿的人群产生影响。随着模型在工业领域的应用不断拓展，模型的结构也正在变得更加复杂。对于机器学习的开发者而言，深入理解模型的原理并具备对他人解释原理的能力非常重要。

 

而 Facebook 发布的 Captum 是一个基于 Pytorch 的一个模型解释库，其功能强大、灵活且易于使用。该库为所有最新的算法提供了解释性，帮助研究人员及开发者更好地理解对模型预测结果产生作用的具体特征、神经元及神经网络层。Captum 通过包括可视化和文本在内的多种形式提供模型解释，并为新算法的设计提供了可拓展性。通过使用 Captum ，研究者还能够以 Pytorch 库中的算法为基准，快速对自己的算法进行评估。

 

对模型开发者而言，通过使用 Captum 来识别模型中对结果产生较大影响的特征，开发者能够更快速地对模型效果进行提升，并对模型的不合理输出进行调试。在这一版本中，我们也提供了 Captum Insight 的试用版，该库基于 Captum 构建，提供了解释性的可视化功能。 

 

Captum Insight 能够处理包括图片、文字等类型在内的多种特征，并帮助用户理解特征的属性。目前，该库实现了对 Integrated Gradients 算法的支持，在未来我们还将加入对更多算法的支持。更多信息参见 captum.ai 。

 

地址：

https://www.captum.ai/

 

 

Captum 实现了对最新的解释性算法的支持，包括 Integrated Gradients， DeepLIFT 和 Conductance。通过使用 Captum ，开发者可以理解特征的重要性，并对神经网络的神经元和网络层的属性进行更加深入的了解。

 

Captum 提供了对 Pytorch 生态系统中多种类型数据的无差别解释能力，能够帮助用户开发更好的模型，并进行相关研究。

 

包括 Captum 在内的模型解释库能够帮助工程师开发更加可信赖、可预测、效果更优的人工智能系统。通过对系统工作原理进行解释，工程师也能够为决策过程提供信息，并与他人建立可信赖的联系。另外，随着多模态模型的不断出现，模型解释库对多种类型的信息提供无差别解释和可视化的能力将变得更加重要。

 

Captum 的 Github 地址：

https://github.com/pytorch/captum

原文链接：

https://ai.facebook.com/blog/open-sourcing-captum-a-model-interpretability-library-for-pytorch

（*本文为 AI科技大本营编译文章，转载请微信联系 1092722531）

推荐阅读

• 刘群：华为诺亚方舟NLP预训练模型工作的研究与应用 | AI ProCon 2019

• 估值被砍700亿美元后，Waymo发重磅公开信：即将推出全自动驾驶打车服务

• 首届中文NL2SQL挑战赛：千支队伍参赛，国防科大夺冠

• 图灵奖得主Bengio再次警示：可解释因果关系是深度学习发展的当务之急

• 技术领域有哪些接地气又好玩的应用？

• Python新工具：用三行代码提取PDF表格数据

• 国产嵌入式操作系统发展思考

• 2019 年诺贝尔物理学奖揭晓！三得主让宇宙“彻底改观”

• 公链故事难再续？