慕尼黑工业大学最新综述：深度神经网络中的不确定性

©PaperWeekly 原创 · 作者 | 王馨月

学校 | 四川大学本科生

研究方向 | 自然语言处理

概要

在过去的十年中，神经网络几乎遍及所有科学领域，并成为各种现实世界应用的重要组成部分。由于日益普及，对神经网络预测的置信度变得越来越重要。然而，基本的神经网络不能提供确定性的估计，或者存在自信过度或不足的问题，即校准不当。为了克服这个问题，许多研究人员一直致力于理解和量化神经网络预测中的不确定性。因此，已经确定了不确定性的不同类型和来源，并且已经提出了各种测量和量化神经网络中不确定性的方法。

这项工作全面概述了神经网络中的不确定性估计，回顾了该领域的最新进展，突出了当前的挑战，并确定了潜在的研究机会。它旨在为对神经网络中的不确定性预测感兴趣的人提供广泛的概述和介绍，而无需预先假定该领域的先验知识。

论文标题：

A Survey of Uncertainty in Deep Neural Networks

论文链接：

https://arxiv.org/pdf/2107.03342.pdf

为此，这项工作全面介绍了最重要的不确定性来源，并将它们分为可减少的模型不确定性和不可减少的数据不确定性。介绍了基于确定性神经网络、贝叶斯神经网络、神经网络集成和测试时间数据增强方法对这些不确定性的建模，并讨论了这些领域的不同分支以及最新发展。

对于实际应用，我们讨论了不同的不确定性度量、神经网络校准方法，并概述了现有基线和可用实现。来自医学图像分析、机器人和地球观测领域的广泛挑战的不同示例给出了有关神经网络实际应用中不确定性的需求和挑战的想法。此外，还讨论了用于重视任务和安全的现实世界应用的神经网络中不确定性量化方法的实际局限性，并给出了对此类方法更广泛使用的下一步的展望。

引言

在过去十年中，深度神经网络（DNN）取得了巨大进步，激励着它们在需要对复杂系统进行建模或理解的各种研究领域中进行调整，例如地球观测、医学图像分析或机器人技术。尽管 DNN 在医学图像分析或自动驾驶车辆控制等高风险领域变得有吸引力，但它们在重视任务和安全的现实世界应用中的部署仍然有限。造成这种限制的主要因素是：

• 深度神经网络的推理模型缺乏表现力和透明度，这使得很难相信他们的结果

• 无法区分领域内和领域外样本以及对领域迁移的敏感性

• 无法为深度神经网络的决策和频繁发生的过度自信的预测提供可靠的不确定性估计

• 对于对抗性攻击的敏感性，使深层神经网络容易受到破坏

这些因素主要基于数据中已经包含的不确定性（数据不确定性）或缺乏对神经网络的了解（模型不确定性）。为了克服这些限制，必须提供不确定性估计，以便可以忽略不确定的预测或将其传递给人类专家。提供不确定性估计不仅对高风险领域的安全决策很重要，而且在数据源高度不均匀且标记数据稀少的领域