赞
踩
倒置残差块成为了移动网络架构设计的主流。它通过引入学习倒置残差和使用线性瓶颈的两个设计规则,改变了经典的残差瓶颈。在本文中,我们重新思考了这种设计改变的必要性,并发现它可能会带来信息丢失和梯度混淆的风险。因此,我们提出翻转这种结构,并提出一种新的瓶颈设计,称为沙漏块,它在更高维度上执行恒等映射和空间变换,从而有效地减轻了信息丢失和梯度混淆。广泛的实验表明,与普遍的观点不同,对于移动网络而言,这种瓶颈结构比倒置瓶颈结构更有益。在ImageNet分类中,仅通过用我们的沙漏块替换倒置残差块而不增加参数和计算,分类准确率可以比MobileNetV2提高1.7%以上。在Pascal VOC 2007测试集上,我们观察到目标检测的mAP也提高了0.9%。我们进一步通过将其加入神经架构搜索方法DARTS的搜索空间来验证沙漏块的有效性。在25%参数减少的情况下,分类准确率比之前的DARTS模型提高了0.13%。
论文地址:https://arxiv.org/pdf/2007.02269.pdf
代码地址:https://github.com/zhoudaquan/rethinking_bottleneck_design
Copyright © 2003-2013 www.wpsshop.cn 版权所有,并保留所有权利。