当前位置:   article > 正文

论文阅读 | Rethinking Coarse-to-Fine Approach in Single Image Deblurring_图像deblur学位论文2023

图像deblur学位论文2023

前言:ICCV2021图像单帧运动去糊论文
论文地址:【here】
代码地址:【here】

Rethinking Coarse-to-Fine Approach in Single Image Deblurring

引言

图像去糊来自与物体或相机的运动。现有的deblur领域的深度学习方法大多都是coarse-to-fine的架构,这样的确在性能上取得了一定的成功,但是占用了内存,计算量大。因此,提出一种轻量级的方法很有必要,目前还没有性能超过SOTA的轻量级网络
因此,本文提出了一种基于coarse-to-fine的MIMO-UNet网络,由encoder ,multi-input single encoder (MISE),decoder multi-output single decoder (MOSD),asymmetric feature fusion (AFF)的设计构成

相关工作

以下四幅图可以简单概括现有去糊方法的思路
在这里插入图片描述
第一、二张图,利用多尺度的Input构建多尺度的学习网络,第一张图在粗尺度上为细尺度提供信息,第二张图在此基础上,设计成了UNet网络,加了跳跃连接,并share大部分参数,第三张图,是在相同的尺度下,但是进行多次去糊操作,第四章图为本文设计。可见,不管是哪种方案,对计算量和运行时间的消耗都是比较大的

方法

pipeline
在这里插入图片描述
其中,值得注意的设计是SCM模块 粗尺度下绿色方块feature attention module,FAM处理,AFF不对称的特征融合asymmetric feature fusion

  1. SCM模块
    首先SCM模块为简单的浅层conv堆叠,为了提取深层尺度特征,设计如下
    在这里插入图片描述
  2. feature attention module,FAM

FAM特征注意力用到了矩阵乘法
在这里插入图片描述
文章中对FAM模块的解释如下

Here, we exploit a feature attention module (FAM) to actively emphasize or suppress the features from the previous scale and learn the spatial/channel importance of the features from SCM.

  1. AFF

在这里插入图片描述
作者介绍到,大多数coarse-to-fine的特征信息流动都是从粗流到细,特征流动并不灵活,因此作者提出了一种非对称的特征融合方式

损失函数
由于是多尺度的学习方式,因此损失函数也是在不同尺度构建,每一层通过一个conv层引导输入
除了L1损失,作者还引入了一个频率重建损失来引导高频分量的保护和还原

实验

对比实验
在这里插入图片描述
消融实验
FAM
在这里插入图片描述
频率损失MSFR和AFF
在这里插入图片描述
检测性能验证
去糊了之后有利于检测
在这里插入图片描述

总结

文章写的很好,尤其是related work 对现有去糊任务总结的四幅图,简单清晰明了,让我一下子省了好多看综述的时间,网络的设计也不复杂,基本上看一遍论文就大概能复现个七八十(我就很喜欢读这样的文章…泪目了),其中的一些设计也给了我很多启发

声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/小小林熬夜学编程/article/detail/85436
推荐阅读
相关标签
  

闽ICP备14008679号