干货！针对动态变化数据的模型结构自动调整

点击蓝字

关注我们

AI TIME 欢迎每一位AI爱好者的加入！

在实际应用中，数据通常以不断增长的方式出现，其中数据量和类的数量可能会动态增加。这将给学习带来一个严峻的挑战：鉴于不断增加的数据量或类的数量，必须立即调整神经模型的能力，以获得有希望的性能。现有的方法要么忽略数据的增长性质，要么寻求为给定数据集独立搜索最佳体系结构，因此无法针对变化的数据及时调整体系结构。为了解决这一问题，我们提出了一种神经结构自适应方法，即Adaptation eXpert（AdaXpert），以有效地调整增长数据上以前的结构。具体来说，我们引入了一个体系结构调整器，根据以前的体系结构以及当前和以前的数据分布之间的不同程度，为每个数据快照生成合适的体系结构。此外，我们提出了一个适应条件，以确定调整的必要性，从而避免不必要和耗时的调整。在两种增长场景（增加数据量和类数）上的大量实验证明了该方法的有效性。

本期AI TIME PhD直播间我们邀请到华南理工大学软件学院博士生——牛帅程，为我们带来报告分享《深度描述聚类》。

牛帅程：

自2018年9月开始在华南理工大学软件学院攻读博士学位。导师为谭明奎教授，以及腾讯AI Lab的吴家祥和赵沛霖研究员。主要研究方向为神经网络结构搜索和迁移学习，并在相关领域会议和期刊发表论文多篇，包括ICML, CVPR, IJCAI,TIP, TKDE等。

01

 背   景 

数十亿的移动电话、监控摄像头和医疗成像设备每天都在继续收集新的数据，使得数据量和类的数量随着时间动态增加，那么如何将深度神经网络（DNN）应用到这种动态变化的数据场景呢？

首先，数据的动态变化对网络模型大小地选择带来了挑战，当数据规模较小时，采用比较复杂的网络模型训练容易导致过拟合现象，而且复杂网络模型的推理时间久，所以采用较小的模型会好一些。随着数据动态增加，训练数据体量庞大时，网络模型如果不够大就会引发欠拟合现象，使得模型无法很好地拟合数据集。

然后，数据动态变化会导致数据分布动态变化，这时需要根据数据分布的变化动态调整模型结构，整个调整流程大致如下图。

将深度神经网络应用于数据增长场景时，可以在每次新数据到达时重新设计网络架构。现有方法主要分为下面两种：

手动网络结构搜索

实质上依赖于人类的专业知识，无法充分探索整个建筑空间，从而导致次优结构。

自动网络结构搜索

为每个数据增长实例分别搜索新的体系结构，并从头开始搜索，忽略了以前的体系结构是可迁移的。

无论是手动设计还是自动设计，都没有考虑架构调整的必要性，以进一步提高适应效率。在本文中，我们基于网络结构搜索的框架，探究如何在数据增量场景下，快速调整网络结构。

下面我们介绍一下什么是网路结构搜索。首先我们定义一个网络结构搜索空间Ω，然后构建搜索策略π，π会从Ω中采样一个新的网络结构α，通过评估器对网络结构进行评估得到反馈，π根据反馈进行学习，将这一过程循环往复，就会学到一个表现较好的搜索策略，然后使用最终学习好的搜索策略去找到一个网络结构。

总结来说，对于这一任务，我们面临下面两个挑战：

1)如何利用当前数据和以前数据之间的差异程度自适应调整神经结构仍然是一个有待解决的问题。

2)如何在新数据到达时确定架构调整的必要性还没有得到很好的研究。

02

 方   法 

本文提出AdaXpert方法，旨在随着数据的增长动态调整神经结构。

（1）AdaXpert介绍

图（a）是AdaXpert方法的总体流程，网络结构调整器（NAA模块）根据新传入数据，自适应地调整先前的模型结构αt-1到一个新的网络结构αt。所谓自适应就是根据新传入数据和当前数据之间的差异情况，判断当前结构是否需要调整，自适应条件决定了模型调整的必要性，从而避免了不必要的调整。

图（b）是NAA的结构图，调节器将以前的模型结构和数据差异作为输入，并为当前数据生成合适的架构。然后，调节器会收到该调整的奖励，奖励的目的是在准确性和计算效率之间进行折衷。

那如何测量数据之间的差异程度呢？我们将新传入的数据Dt和先前的数据Dt-1通过αt-1模型得到特征Mt和Mt-1。我们假设Mt 和Mt-1是符合高斯分布的，通过最大似然估计得到高斯分布的协方差和均值，然后通过Wasserstein distance衡量两个数据的分布差异程度。

（2）NAA训练

我们训练NAA的目标函数是最大化期望奖励函数，下式是目标函数及其更新策略的公式表示，πθ是一种策略，用于确定一系列操作，以将输入模型调整为新的模型。

NAA奖励函数设计如下：

我们希望调整后的架构αt′ 将实现比原始版本αt-1更高的验证精度。其中，这个dt 用于自适应地约束调整后的网络结构的计算复杂度。如果dt很小，则代表会更多地关注约束V（αt）。

（3）模型调整时机

为了进一步决定是否进行模型调整，下式计算了先前模型αt-1分别在当前数据Dt和以前的数据Dt-1的精 度差异，其中 Φ(