上采样(upsampling)方法总结_上采样层

总结一下上采样，主要来源于论文《Deep Learning for Image Super-resolution:A Survey》

1. 上采样层位置
   
2. 上采样方法
   2.1预定义插值式
   最近邻插值、双线性插值、双三次插值，效果和计算量逐个上升；虽然插值式上采样已没人用，但是下采样过程（数据准备从HRGT到LR）最常用的还是双三次。
   基于插值的上采样方法只能通过图像的本身内容提高图像的分辨率，并没有带来更多信息，相反还有噪声放大、计算复杂度增加、结果模糊等副作用。
   2.2 反卷积
   
   由于反卷积是个端到端的操作而且效果还行，所以在论文中被相当广泛地采用，其缺点就是由于uneven overlapping导致的下图中的棋盘效应。
   
   这是由于stride不能被卷积kernel size整除导致的。如下图，以一维信号举例（stride=2、size=3），上面黑白相间表示原始信号基础上进行了插0的expanding；下面表示反卷积的结果，第1和第2个块只接收到的非0信号只有上面的第一个黑块，第三个却能接收到两个黑块，导致其像素值过高，因此输出信号整体不均匀。
   
   2.3 Sub-layer
   
   原来是h * w * c，上采样倍数为s，sub-layer就是拿s * s个卷积核来卷，形成h * w * c * s * s的结果，再reshape成hs * ws *c。
   与反卷积相比，子像素卷积具有更大的感受野，它提供了更多的上下文信息以帮助生成更多逼真的细节。然而，由于感受野的分布是不均匀的，并且块状区域实际上共享相同的感受野，因此可能会导致在不同块的边界附近出现一些伪影。另一方面，独立预测块状区域中的相邻像素可能会导致输出不平滑。
   2.4 Meta Upscal Module
   最新突出的一种上采样方法，第一个可进行任意倍率的上采样的模块。采用了元学习的思想，这个后续再详细介绍。来源于论文《Meta-SR: A Magnification-Arbitrary Network for Super-Resolution》