ICLR 2023 | 微软提出自动化模型训练剪枝框架OTO，一站式获得轻量级架构

作者：weixin_40725706 | 2024-06-30 19:07:26

踩

oto剪枝

©PaperWeekly 原创 · 作者 | 陈天翼

单位 | 微软

研究方向 | 模型压缩

大型神经网络 DNN 对资源的巨大需求限制了其在现实世界的部署，如何在尽可能小地损失性能的前提下，压缩神经网络是 DNN 产品化的关键。

剪枝是最常见的 DNN 压缩方法之一，旨在减少冗余结构，给 DNN 模型瘦身的同时保持模型性能。然而，现有的剪枝方法通常指针对特定模型，特定任务，并需要 AI 工程师投入大量的工程和时间精力来应用这些方法到自己的任务上。

为了解决这些问题，微软团队提出了 OTOv2 框架，并发表于 ICLR 2023。OTOv2 是业内首个自动化，一站式，用户友好，且通用的神经网络训练与结构压缩框架。通过使用 OTOv2，AI 工程师可以非常方便地训练目标神经网络，一站式地取得高性能且轻量化的模型。OTOv2 最小化了开发者额外的工程时间精力的投入，且全程无需现有方法通常需要的非常耗时的预训练和额外的模型微调。

论文链接：

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/weixin_40725706/article/detail/773669