【笔记】ValseWebinar-去雨去雾专题报告_图像去雨数据集

报告视频链接：[ValseWebinar] 去雨去雾专题报告_哔哩哔哩_bilibili

1 Bridging the gap between low level vision and high level tasks——任文琦

1.1 图像去雾

即从低可见度的图像中恢复出图像的色彩信息、对比度信息等。

传统的方法往往是基于物理模型I(x)=J(x)t(x)+A(1-t(x))，其中I(x)是有雾的图像（Hazy image），J(x)是原图像对应的场景（scene），A是大气光照，t(x)是传输率（transmission），满足

 图像去雾的过程就是在已知I(x)的情况下推算出A和t(x)，从而还原出J(x)。

 目前的图像去雾主要有两种，一种是基于先验知识的图像去雾，另一种是基于深度学习的图像去雾，其中，基于深度学习的图像去雾也有两个方向，一种是基于物理模型估计传输率和大气光照，另一种是端到端的框架，直接学习从有雾图像到去雾图像的映射关系。

由于噪音、折射等诸多因素，上述的物理模型只是个近似模型，因此端到端的框架相比物理模型更适合进行图像去雾工作，但端到端框架的训练难度大，容易出现颜色偏差等问题。由此考虑将端到端的模型的训练任务进行弱化处理，先对输入的雾霾图像进行预处理的增强，比如调整白平衡、调整对比度、伽马矫正等，再构造网络求解预处理得到的图片的权重图，去除权重较低的元素，保留权重较高的元素，进行加权求和得到去雾图像。

 

 实验过程中发现，调整白平衡是必须的，增强对比度这个操作容易丢失细节，相比之下伽马矫正效果更好。

光圈效应是图像去雾中比较常见的问题，为解决这个问题，此处借鉴了多尺度网络的工作，先对图像进行下采样，再进行去雾处理，再进行上采样之后即可缓解光圈效应。

目前的图像去雨去雾的效果主要依赖于合成图像，对效果的评价也偏向主观。

1.2 数据集

此处提出了两个数据集，一个是去雾数据集RESIDE，另一个是去雨数据集MPID。

RESIDE数据集中的图像既有根据物理模型合成的室内和室外图像，用于训练，也有4322张真实的真实图像，并对图像中的人、车等进行了标注，可用于目标检测，MPID数据集的构建和它类似。

1.3 效果评价

之前的评价标准主要是基于人眼的，主观因素较大。此处主要采取如下评价方法：先用多种不同方法进行去雾，再将去雾后的图像放入目标检测算法中，观察去雾图像对目标检测算法的效果的影响。

经过实验发现，大部分算法生成的去雾图像会使得目标检测算法的效果变差，由此，在后续的工作中可以考虑从算法的角度进行改进，使得图像去雾不仅会改善人眼视觉的效果，也能改善模型的效果，从而达到预处理的效果。

经过实验发现，使用半监督学习进行图像去雾后的图像对目标检测网络的效果有了一定改善，并且训练图像中真实雾霾图像的占比较高时，效果会更好。

1.4 图像去雨：深度分解组合网络

使用encoder+decoder结构，把输入的雨图分解为两个分量，一个是没有雨滴的背景图像，另一个是带雨滴的图像，即：

 再将两个分量组合为原始的雨图。

 1.5 展望

图像去雨去雾方向待解决的问题： 

①真实图像和合成图像有区别，使用合成图像训练出的网络不一定会取得更好的泛化能力：考虑使用真实图像进行训练（数据集收集难度大），或者使用更好的生成或渲染方式生成更接近真实的图像

②图像去雨去雾不仅要为人眼服务，还要作为一种预处理程序为机器服务，促进后续的工作

代码链接：https://github.com/rwenqi/GFN-dehazing

论文链接：ReadPaper

2 Learning -based Methods for Single Image Restoration and Translation——张赫

2.1 Single Image De-raining：

 主要有两种方式，一种是基于先验知识的图像去雨，另一种是基于深度学习的。

 本次报告介绍的工作：

《Density-Aware Single Image De-Raining Using a Multi-Stream Dense Network》

CVPR 2018 Open Access Repository

动机：由于图像中的雨势有大有小，图像去雨中容易出现over-deraining和underaining的问题，前者会破坏原图像的特征细节，后者达不到足够的去雨效果，除此之外，雨点的形状也和不相同，有的是点，有的是线，也会对去雨效果产生影响。

解决方案：先对雨图进行一个估计，判断图片中的场景的雨势是大还是小，用不同的kernel size去提取不同的雨点形状（可以用Photoshop生成不同密度和不同雨点形状的雨图）

2.2 Single Image Dehazing

 图像去雾的目标：

 本次报告介绍的工作：

《Densely Connected Pyramid Dehazing Network》

CVPR 2018 Open Access Repository

研究动机：传统的方法往往在尝试去得到更准确的t，如果模型不够好，去雾效果也不好，即使使用深度学习的方法， 也很难得到t，A和J的固有关系

解决方案： 将去雾模型嵌入网络中进行端到端学习，使用Pyramid densely connected encoder-decoder去估计t，并使用新的边缘保留损失来避免光晕，使用联合判别器确定t和J的真假（参考GAN）

 

2.3 Thermal-Visible Face Synthesis and Verification

2.4 Conclusion