2023年 18篇神经架构搜索(Neural Architecture Search) ICCV ICML NIPS IJCAI 阅读笔记_construction of hierarchical neural architecture s

Aim:

Abstract：

Conclusion:

Methods:

1. 构建MQ-Bench-101基准： 包括不同的位配置和量化结果，以分析现有的无训练代理和量化精度之间的关联。
2. 自动搜索代理框架： 使用进化算法自动搜索更好的MQ代理。
3. 精心设计的搜索空间： 包括现有的代理，并执行进化搜索以发现最佳相关的MQ代理。
4. 多样性促进选择策略和兼容性筛选协议： 避免过早收敛并提高搜索效率。

Keyresults:

• 发现现有的无训练代理在MQ-Bench-101上表现出弱相关性。
• 通过进化搜索发现了与MQ高度相关的新代理。
• 提出的EMQ（Evolving proxies for Mixed-precision Quantization）框架可以自动生成代理，无需重度调整和专家知识。

Code:

Aim:

Abstract：

Conclusion:

Methods:

1. 一次性多路径超网络： 旨在训练超网络以准确评估多路径结构的候选架构。
2. 阴影批量归一化（Shadow Batch Normalization, SBN）： 由于在研究的搜索空间中，多路径和单路径的特征向量存在差异，这种差异扰乱了超网络的训练和排名能力。因此，提出了SBN机制来规范这些差异的特征统计.

Keyresults:

• 发现多路径搜索空间中的特征向量和单路径搜索空间中的特征向量存在显著差异。
• 证明了SBN能够稳定优化过程并提高排名性能。
• 提出的MixPath方法生成了一系列在ImageNet上实现了最先进结果的模型。

Code:

Aim:

Abstract：

Conclusion:

Methods:

1. 一搜索空间构建： 基于对不同蒸馏器的观察，建立包含高级操作的统一搜索空间，涵盖转换、距离函数和超参数组件。
2. 高级操作的设计： 转换部分包括全局、内空间和跨空间操作，如注意力、遮罩和多尺度。
3. 蒙特卡罗树搜索策略： 将搜索空间建模为蒙特卡罗树（MCT），以捕捉选项之间的依赖关系。
4. 加速搜索过程： 利用离线处理、学生的稀疏训练和基于蒸馏属性的代理设置。

Keyresults:

• 发现不同的蒸馏器可以分解、组合和简化。
• 通过蒙特卡罗树搜索策略，有效地平衡探索和利用。
• Auto-KD在蒸馏阶段之前只需少量成本即可搜索最优蒸馏器。
• 对多层和多教师场景进行了扩展，使用无需训练的加权因子。

Code:

Aim:

Abstract：

Conclusion:

Methods:

1. 拓扑搜索与操作搜索分离： 使搜索和评估更加一致。
2. Gumbel-Top2重参数化： 用于增强搜索过程的稳定性。
3. 梯度累积： 用来加强不易处理的双层优化问题。
4. ROME算法： 针对单路径DARTS的性能崩溃问题，提出了一个更加稳健和内存高效的方法。

Keyresults:

• 发现单路径DARTS存在严重的性能崩溃问题。
• ROME通过拓扑和操作搜索的分离、Gumbel-Top2重参数化和梯度累积，有效地解决了这一问题。
• 在15个基准测试中广泛验证了ROME的有效性和稳健性。

Code:

Aim:

Abstract：

Conclusion:

Methods:

1. 随机初始化权重： 利用随机初始化权重来寻找最优架构参数。
2. 稀疏编码目标： 基于稀疏编码目标来派生NAC方法。
3. 无更新方案： NAC采用不更新GNNs的方案。
4. 线性时间计算效率： NAC能够以线性时间高效计算。

Keyresults:

• 发现传统NAS方法在GNNs应用中存在问题，忽视了GNNs的独特性能。
• 提出的NAC方法在不更新GNNs的情况下实现了高效计算。
• 在多个GNN基准数据集上的实证评估表明，NAC方法在速度上比强基线快达200倍，在准确率上提高了18.8%。

Code:

Aim:

Abstract：

Conclusion:

Methods:

1. 零成本选择器： 通过零成本选择器预先显著减少样本空间。
2. 权重共享一次性训练： 在偏好的架构上执行权重共享一次性训练，以减轻更新冲突。
3. 搜索自由方法： 强调在一次性训练中实现目标模型的快速专业化。

Keyresults:

• 显著减少了一次性NAS的样本空间。
• 在多项实验中，PreNAS一致性地超过了最先进的一次性NAS竞争者，包括视觉变换器和卷积架构。
• 实现了具有零搜索成本的即时专业化。

Code:

Aim:

Abstract：

Conclusion:

Methods:

1. 创建公共QAS基准： 包括900个随机量子电路和400个随机幺正矩阵。
2. 评估六种基线算法： 包括暴力搜索、模拟退火、遗传算法、强化学习、混合算法和可微算法。
3. 提出评估协议： 该协议剥离了现有QAS文献中使用的领域特定设计和技术，使得统一评估成为可能，且专注于单纯的搜索方法本身，而不是与领域先验知识耦合。

Keyresults:

• 形成了一个新的QAS公共基准测试，填补了文献中的空白。
• 对六种基线算法进行了评估，对基本任务的评估协议突出了其特点。
• 发现幺正近似任务在算法上可能比特定问题更难，因为它需要探索整个矩阵空间以适应幺正，而特定任务通常只需要适应幺正的部分观测作为搜索目标。

Code:

Aim:

Abstract：

Conclusion:

Methods:

1. 可微分架构搜索： QuantumDARTS可能利用了类似于经典深度学习中的可微分架构搜索（DARTS）技术，以自动化的方式优化量子电路的结构。
2. 变分量子算法： 论文可能聚焦于变分量子算法，这是一种特别适用于近期量子计算机的量子算法。
3. 量子电路设计： QuantumDARTS可能包含一种机制，用于生成和测试不同的量子电路设计，以找到最佳配置。

Keyresults:

• 实现对变分量子算法的自动优化。
• 在一系列量子计算任务中显示出提升的性能。
• 减少了手工设计量子电路的需要。

Code:

Aim:

Abstract：

Conclusion:

Methods:

1. 多项式时间算法： 用于快速寻找前K个相关路径，大幅减少计算量。
2. 最大乘积算法： 这是一种在概率图模型中寻找最大似然配置的常用工具，用于精确地在神经元级别和近似地在节点级别找到最相关的路径。

Keyresults:

• 实现了在神经元级别精确地、在节点级别近似地寻找最相关路径。
• 降低了GNN-LRP的计算复杂性，增加了其在大规模问题中的应用性。
• 在流行病学、分子和自然语言基准测试中验证了算法的性能和实用性。

Code:

Aim:

Abstract：

Conclusion:

Methods:

1. 理论分析： 对黑盒NAS中的变异、交叉和RL行为进行理论分析。
2. 最短编辑路径（SEP）交叉操作符： 提出了一种基于图空间中的SEP的新交叉操作符，用于克服传统图表示中基因型和表现型之间的排列问题。

Keyresults:

• 理论上证明了SEP交叉操作符能够克服排列问题。
• 相较于变异、标准交叉和RL，SEP交叉操作符有更好的预期改进效果。
• 在最新的NAS基准测试中，SEP交叉操作符在实证上优于其他方法。

Code:

Aim:

Abstract：

Conclusion:

Methods:

1. 解耦的图超网络设计： 设计了能够融入多种架构并进行因子解耦的图超网络。
2. 自监督训练： 提出了一种自监督训练方法，实现了架构与图的联合解耦。
3. 对比搜索与架构增强： 提出了一种对比搜索方法，以发现具有因子特定专长的架构。

Keyresults:

• 提出的DSGAS模型能够基于未标记的图数据以自监督的方式发现捕捉各种潜在图因子的最优架构。
• 在11个真实世界数据集上的实验表明，DSGAS在无监督方式下比多个基线方法实现了更好的性能。

Code:

Aim:

Abstract：

Conclusion:

EVOPROMPTING在设计准确且高效的神经网络架构方面取得了成功，这些架构适用于多种机器学习任务。同时，EVOPROMPTING具有足够的通用性，可以轻松适应神经网络设计之外的其他任务。这一方法展现了语言模型在神经架构搜索中的潜在应用价值，并为将来在更广泛的机器学习领域中应用这种技术提供了可能性。

Methods:

1. EVOPROMPTING： 结合进化提示工程和软提示调整的方法。
2. 数据集实验： 在计算效率高的MNIST-1D数据集上验证EVOPROMPTING的有效性。
3. 图神经网络搜索： 将该方法应用于CLRS算法推理基准上的图神经网络搜索。

Keyresults:

• 在MNIST-1D数据集上，EVOPROMPTING产生的卷积架构变体在准确性和模型大小方面均优于人类专家设计的模型和简单的少量提示。
• 在CLRS算法推理基准上，EVOPROMPTING设计的新型架构在30个算法推理任务中的21个上优于当前最先进的模型，同时保持了相似的模型大小。

Code:

Aim:

Abstract：

Conclusion:

Methods:

1. 基于上下文无关语法的设计框架： 介绍了一种新的设计框架，它能够自然且紧凑地生成表达性强的分层搜索空间，这些空间比文献中常见的空间大数百个数量级。
2. 高效分层内核设计： 为贝叶斯优化搜索策略提出了一种高效的分层内核设计，以便有效搜索这些庞大的空间。

Keyresults:

• 创造了比现有文献中的空间大得多的表达性分层搜索空间。
• 实现了对完整架构的有效搜索，并能促进规律性。
• 展示了搜索空间设计框架的多功能性，并证明了其搜索策略相对于现有NAS方法的优越性。

Code:

Aim:

Abstract：

Conclusion:

Methods:

1. 结构多样的超网络设计： 设计用于管理多个架构和图结构的统一框架。
2. 软任务协作模块： 提出软任务协作模块来学习任务间的转移关系。
3. 任务导向的课程训练策略： 开发基于相对难度重新加权不同任务影响的课程训练策略。

Keyresults:

• MTGC3模型在多任务场景中取得了比多个基线方法更好的最先进性能。
• 有效地发现了有效的架构，并捕捉了多个任务的协作关系。

Code:

Aim:

Abstract：

Conclusion:

Methods:

1. 卷积操作引入： 在Transformer中添加卷积操作，以增强其局部上下文建模能力。
2. 进化神经架构搜索： 提出一种进化神经架构搜索方法，用于自动化输入特征选择和确定操作应用位置。
3. 搜索空间设计： 将原始Transformer中的全局路径（含注意力模块）替换为全局路径与可能包含不同卷积的局部路径之和，并考虑输入特征的选择。
4. 有效的进化算法： 使用高效的进化算法探索搜索空间，并提出搜索空间缩减策略以加速算法收敛。

Keyresults:

• 在两个最大且最具挑战性的教育数据集上的实验结果显示了所找到架构的有效性。
• 通过结合卷积操作和自动化架构搜索，提高了Transformer在KT任务上的性能。

Code:

Aim:

Abstract：

Conclusion:

Methods:

• 损失平面的平坦度： 提出使用损失平面的平坦度作为预测神经网络架构泛化能力的代理指标。
• 多样搜索空间评估： 在不同的搜索空间上评估所提出的方法。

Keyresults:

• 与最先进的NAS方法相比，所提出方法在各种搜索空间上展示了类似甚至更好的性能。
• 通过平坦度度量发现的架构在数据分布的不同变化（例如ImageNet-V2, -A, -O）以及不同任务（如对象检测和语义分割）上具有强大的泛化能力。

Code:

Aim:

Abstract：

Conclusion:

Methods:

• 搜索空间缩减： 提出一种算法，用于缩减大型搜索空间。
• 利用局部性原理： 利用结构和性能相似性之间的关系，高效地提取出许多表现良好的网络群体。
• 不同搜索空间和数据集的应用： 在不同大小和数据集的一系列搜索空间上展示该方法。

Keyresults:

• 在两个不同的搜索空间中，使用一次性搜索的缩减空间实现了最佳的Top-1准确率。
• 在ImageNet的移动约束条件下，实现了77.6%的最先进Top-1准确率，以及最佳的Kendall-Tau、架构多样性和搜索空间大小。

Code:

Aim:

Abstract：

Conclusion:

Methods:

• 采用神经架构搜索（NAS）： 用于构建可微分的FM合成器。
• 特定设计的搜索空间： 训练超网络，包括预测具有不同频率比的载波和调制器的包络。
• 进化搜索算法： 开发了一种带有自适应振荡器大小的进化搜索算法，以找到振荡器之间的最佳关系和FM的频率比。

Keyresults:

• 能够从不同乐器的录音中完全自动构建合成器。
• 实验结果显示，相比手工制作的合成器，自动生成的合成器能够取得更好的结果。

Code: