AAAI 2023 Oral | 图像复原中的新问题！浙大创建ReLoBlur数据集和LBAG局部模糊感知门控网络...

点击下方卡片，关注“CVer”公众号

AI/CV重磅干货，第一时间送达

点击进入—>【计算机视觉】微信技术交流群

AAAI-2023 Oral：Real-World Deep Local Motion Deblurring

单幅图像去除局部运动模糊：浙大成像实验室创建ReLoBlur数据集及LBAG局部模糊感知门控网络

单幅图像去运动模糊一直以来都是研究的热点，随着深度学习的兴起，基于端到端学习式的图像去模糊逐渐成为主流。运动模糊可分为全局和局部两类，其中全局运动模糊得到广泛关注，而局部运动模糊问题则较为被忽视。该文章从实际工业应用需求出发，聚焦于解决单图像去除局部运动模糊的多重挑战：

1) 由于缺少公开真实的局部运动模糊数据集，深度学习应用受到阻碍；

2) 训练过程中神经网络模型难以确定局部模糊区域的位置和大小；

3) 当模糊区域仅占少数图像区域时，神经网络会过于关注清晰物体而浪费训练成本。

为解决上述问题，浙江大学成像工程实验室创建了第一个真实世界局部运动模糊数据集ReLoBlur，并提出了局部模糊感知门控网络LBAG及一系列针对局部运动模糊的解决方案（如LBFMG、BAPC等），填补了深度学习在局部运动模糊问题上的空缺。这些创新性的解决方案构建了解决局部运动模糊和全局运动模糊的桥梁，为实际工业应用提供了有效的解决方案。

该论文的一作李昊颖目前博士在读，师从浙江大学冯华君教授、新加坡南洋理工大学Chen Change Loy教授和Chongyi Li教授；是此前SRDiff的提出者，研究计算机视觉、深度学习和工程光学的交叉领域。

论文：https://arxiv.org/abs/2204.08179

代码：https://github.com/LeiaLi/ReLoBlur

论文主页链接：

https://leiali.github.io/ReLoBlur_homepage/index.html

【效果展示】

下图展示了ReLoBlur数据集的部分图像对：

下图展示了该文章所提出的LBAG方法去除局部运动模糊的效果：

【方法概览】

ReLoblur数据集

在相机曝光时间内，场景中部分物体的运动叠加造成了图像的局部运动模糊。曝光时间越长，运动模糊越容易积累，图像越模糊；曝光时间越短，运动混叠越少，图像越清晰。由此原理，该文章设计了一个分光同步拍照装置来同时获取局部运动模糊图像及其对应的清晰图像。该装置包含分光镜、两个相同的工业相机和电源控制模块。其中，相机B用长曝光模式来拍摄模糊图像，相机S用短曝光模式拍摄清晰图像，拍摄者通过切换相机B前的密度片来保证两个相机进光量相同，分光镜可以实现两个相机拍摄的场景一致性。

分光拍摄系统经过了精密的设计和装调，但两台相机拍摄的场景仍会存在细微差异。为了校正图像对中除运动模糊区域外的差异，颜色校正、亮度对齐和几何对齐被加入到了图像后处理流程中。图像后处理流程减少了分光拍摄过程中由硬件和环境造成的颜色、光度、空间位置上误差，保证了场景在清晰和模糊图片的一致性。

数据集中包含生活中常见的拍摄场景，包括但不限于行人、车辆、父母、儿子、宠物、球、植物和家具等。ReLoBlur已公开训练集图像2010对，测试集图像395对。同时，作者还用LBFMG算法标注了局部运动模糊区域为研究者们提供参考。ReLoBlur是第一个实拍的局部运动模糊数据集。与仿真（合成）模糊数据集不同，它真实地展示了局部运动物体自身和背景产生的混叠效应，其中也包含了过曝和较暗的实景图片，以及复杂的模糊边缘。参与这项工作的研究者们花费了大量时间在硬件设计和数据集拍摄上，这些工作为后续解决局部运动模糊问题提供了数据支持。

局部模糊感知网络（LBAG）

除了ReLoblur数据集外，该文章还提出了一个带有局部模糊感知能力的多尺度神经网络模型（LBAG）。多尺度神经网络模型的设计思路来源于MIMO-Unet[0]。在网络的多尺度输出端增加了一个门控模块用于预测模糊区域。利用LBFMG算法生成的掩码作为标签数据来监督训练LBAG，使得网络具有识别局部模糊区域的能力。为了解决网络过于注意非模糊区域的问题（Data imbalance problem），该文章调整了训练数据的输入方式：一半数据随机剪裁输入，一半数据经过LBFMG算法定位局部模糊区域后剪裁输入。

为更公平地评价去除局部运动模糊效果，出了全局PSNR和SSIM外，该文章还使用了加权峰值信噪比PSNRw和加权结构相似度SSIMw，在局部模糊区域计算PSNR和SSIM：

其中、、、分别为像素位置、图像宽度、图像高度、局部模糊掩码。和分别代表了标签图像和网络输出的图像。

更多结果展示

表 1 不同去模糊方法的量化评价结果（LBAG+表示在MIMO-UNet的预训练权重进行训练）

图 6 不同去模糊方法在ReLoBlur数据集上的视觉比较

大量实验证明了用ReloBlur训练的网络比用合成数据训练的网络表现更好，并且量化评价结果显示LBAG网络也超过了其他的SOTA方法。

表 2 合成数据训练的LBAG+和Reloblur训练的LBAG+的量化评价结果

总体而言，该文章挖掘了深度图像复原领域的一个分支：图像局部模糊，创建了第一个局部运动模糊的数据集ReLoBlur，提出了用于去除局部运动模糊的LBAG网络，和一系列适用于真实世界的局部去运动模糊策略，构建了局部运动模糊和全局运动模糊处理的桥梁，为AI研究者解决局部图像病态问题提供了新的思路。

[0] Sung-Jin Cho, etal, Rethinking Coarse-to-Fine Approach in Single Image Deblurring, ICCV 2021

点击进入—>【计算机视觉】微信技术交流群

最新CVPP 2023论文和代码下载

后台回复：CVPR2023，即可下载CVPR 2023论文和代码开源的论文合集

后台回复：Transformer综述，即可下载最新的3篇Transformer综述PDF

目标检测和Transformer交流群成立
扫描下方二维码，或者添加微信：CVer333，即可添加CVer小助手微信，便可申请加入CVer-目标检测或者Transformer 微信交流群。另外其他垂直方向已涵盖：目标检测、图像分割、目标跟踪、人脸检测&识别、OCR、姿态估计、超分辨率、SLAM、医疗影像、Re-ID、GAN、NAS、深度估计、自动驾驶、强化学习、车道线检测、模型剪枝&压缩、去噪、去雾、去雨、风格迁移、遥感图像、行为识别、视频理解、图像融合、图像检索、论文投稿&交流、PyTorch、TensorFlow和Transformer等。
一定要备注：研究方向+地点+学校/公司+昵称（如目标检测或者Transformer+上海+上交+卡卡），根据格式备注，可更快被通过且邀请进群
 
▲扫码或加微信号: CVer333，进交流群
CVer计算机视觉（知识星球）来了！想要了解最新最快最好的CV/DL/AI论文速递、优质实战项目、AI行业前沿、从入门到精通学习教程等资料，欢迎扫描下方二维码，加入CVer计算机视觉，已汇集数千人！
 
▲扫码进星球
▲点击上方卡片，关注CVer公众号

整理不易，请点赞和在看