【MFEN：轻量级多尺度特征提取：SR网络】

MFEN: Lightweight multi-scale feature extraction super-resolution network in embedded system

（MFEN：嵌入式轻量级多尺度特征提取超分辨率网络）

深度卷积神经网络（CNN）在超分辨率（SR）方面取得了显著的成绩。然而，基于深度神经网络的方法由于计算量大、内存消耗大，很难应用于嵌入式便携设备。针对上述问题，通过构造多尺度特征提取块（multi-scale feature extraction blocks (MFEB)），提出了一种有效的轻量级多尺度特征提取超分辨率网络（multi-scale feature extraction super-resolution network (MFEN)），逐步获取多尺度和层次信息。此外，我们还提出了一种有效的渐进特征融合（progressive feature fusion (PFF)）策略来聚合多尺度信息特征。在基准数据集上的定性和定量评价结果表明，该方法的性能优于大多数现有方法.此外，MFEN算法的计算复杂度和运行时间显著降低，为嵌入式设备的实时图像处理技术提供了便利。

介绍

单幅图像超分辨率（SISR）是指从原始的低分辨率（LR）图像重建出相应的高分辨率（HR）图像。它是病态的，因为相同的LR图像对应于多个HR图像。超分辨率技术在嵌入式系统、监控、医疗诊断等领域具有重要的应用价值，是一个值得深入研究的领域。
近年来，深度卷积神经网络（CNN）方法在SR重构中取得了显著的效果，这些方法证实了深度卷积神经网络具有更好的重构性能。因此，各种SR网络试图建立更深的网络以获得更好的重建图像。尽管大多数深度SR网络取得了突出的性能，但由于其计算量巨大和过程复杂而无法用于实际应用。因此，发展轻量级网络是非常必的。
在已有的轻量级CNN研究中，LapSRN将拉普拉斯金字塔结构引入到超分辨率网络中。MemNet建立了一个端到端的持久内存模型。采用跳连接的方式来降低整个网络的权重。CARN采用递归级联机制来集成不同层的功能。它可以通过共享参数使网络更有效。IDN引入了一种信息提取机制网络，利用多个堆叠的信息提取块直接从原始LR图像重建HR图像。虽然这些方法可以减少SR网络的参数，但在计算复杂度和模型性能上仍有改进的空间。
为了改进现有的模型，我们设计了一个高效的轻量级SR网络。受人工压缩和设计模型思想的启发，提出了一种轻量级多尺度特征提取网络（MFEN）。不同于以往大多数SR网络采用固定尺度提取图像特征，本文设计了一个多尺度特征提取模块（MFEB）来获取多尺度信息。具体而言，该块从不同比例提取包含更详细信息的特征。然而，多尺度特征提取的操作通常会增加参数和计算复杂度。此外，如图1所示，我们发现同一层的特征具有很大的相似性。在所有通道的卷积运算中存在冗余。将提取出的浅层特征分为三部分进行不同尺度的操作，设计出更加轻量化的模型。结果，我们从不同的输入通道获得了三个特征类别。有必要考虑一种合适的融合策略来控制信息流。

贡献

1）为了实现快速的图像超分辨率，我们设计了一种轻量级的多尺度特征提取块（MFEB）网络MFEN。在每个MFEB中，所有特征通道被分成三部分，分别送入具有不同核函数的卷积层，以获得多尺度信息。该网络能在有效保留图像特征的同时重建出更好的HR图像。
2）为了有效地融合不同尺度下的特征，提出了一种渐进式特征融合（PFF）策略.相同的规模特点是逐步集成利用级联和通道洗牌层。该策略可以有效地混合不同信道间的信息。
3）为了更加轻量级，我们还在MFEN的基础上提出了一个更简单的网络MFEN_S。在该网络中，MFEB中的分裂操作的数目减少到3，而网络宽度保持不变。实验结果表明，这种简单的网络也能获得性能提升。

相关工作

Deep super-resolution models

近年来，基于深度神经网络的模型在SR。Dong等人取得了显著的成果，Dong等人首先将深度学习引入到超分辨率中，该方法应用三层卷积直接得到LR到HR的映射。VDSR利用20层CNN结构来构建深度模型。采用残差学习的方法来降低训练难度。DRCN和DRRN 通过共享权重减少了参数数量。SAN提出了一种二阶注意机制，用于更有效地聚合特征。SRFBN充分利用了反馈机制，以较少的参数提高了重构能力。Meta-SR引入了元学习的思想，这是第一次尝试仅通过单个模型来实现对LR的任意尺度的上采样。端到端可训练USRNet提供了一种弥合传统和深度学习模型之间差距的方法。UDVD 为变分退化引入了统一的动态卷积。它可以适应图像之间的变化（跨图像变化）和图像内的变化（空间变化）。虽然这些深度SR网络可以获得显著的重构结果，但是它们带来了计算复杂度和存储器存储成本。

Lightweight super-resolution models

深度学习模型由于计算量大，无法应用于实际应用。于是简单高效的轻量级模型成为一种发展趋势。有三种方法可以简化神经网络：压缩模型、人工设计网络和基于神经结构搜索（NAS）的自动设计。就压缩模型方式而言，主要是使权重最小化。Han等人提出了模型压缩技术，包括修剪、量化和知识提取。在SR字段中，DRCN 和DRRN 分别共享卷积层和残差结构中的参数以压缩模型。知识蒸馏使用小型网络来模拟大型网络的性能。人工设计网络方式主要集中在设计更高效的架构上。人工设计的轻量级网络通过去除不必要的操作或引入更有效的卷积操作来构造更有效的结构。它可以保持与深度神经网络相同的优良性能。对于基于神经结构搜索（NAS）的自动设计方式，Google首先设计了NAS的思路，即利用一定的搜索策略从搜索空间中选择一个模型，然后对该模型的效果进行评估。FALSR将NAS引入SR领域以获得优异的性能。通过将NAS与修剪搜索相结合，开发了用于实时SR的自动搜索框架。虽然这些方法可以降低SR网络的复杂度和参数，但仍有一些问题值得进一步研究。

方法

随着网络的不断深入，大多数方法忽略了网络对多尺度信息的适应性。在该网络中，我们设计了一种基于多尺度特征提取的轻量级网络，以更好地利用多尺度信息。首先，利用通道分裂将特征图分成三个分支，得到不同尺度的特征信息。然后，我们应用多层卷积层来获得层次特征。最后，提出了PFF策略来聚合多尺度、多层次的特征，最大限度地提高了提取特征的利用率。与现有的网络相比，我们设计的网络减少了便携式设备和实时图像处理中的参数和运行时间。

Basic network structure

大多数神经网络选择通过叠加具有固定卷积核大小的卷积层来加深网络层，以获得更有说服力的信息。由于多尺度特征和层次特征对HR重建工作同样重要，我们提出了一种多尺度特征提取网络。在本节中，我们详细描述了所设计的结构。如图2所示，我们的MFEN包含三个组件：浅层特征提取、堆叠的多尺度特征提取块(MFEB)和重建模块。
具体地，将输入LR图像