unet图片数据增强_图像增强 GLeNet Global 加 local图像增强

GLeNet

Global and Local Enhancement Networks for Paired and Unpaired Image Enhancement(ECCV 2020) github project

算法思想：global + local。学习一条增强曲线(3通道图像 3条)，对图像做 global 调整；通过一个 UNet 学习残差图，模拟空间滤波，做 local 调整。训练数据 paired 和 unpaired 都可，训练 unpaired 数据时参考 CycleGAN 的思路。

基本步骤：

1. 低质图像经过一个网络估计增强曲线，得到3 * 256 个值；
2. 对低质图像的像素值应用这 3 * 256 个映射值，得到初步增强图像；
3. 经过一个 Unet 输出一个残差图，与初步结果相加，做局部修正。

网络结构：

• GEN (global enhance network)

全局映射：10->30，100->150......，对所有的像素值，与伽马校正、log变换等类似。公式表述如下：

其中，​

是某个像素值，​

是一个 256 维的 one-hot 向量，只有 p 处为 1，其余位置为 0，​

是映射函数，二者点乘，得到的结果就是 p 映射成

​。 网络结构如下表：

简单的 CNN 结构，特征提取层使用 MobileNet V3 中的 inverted residual block，有利于训练且减少参数，全卷积输出 768=3 * 256 的向量。整个网络可以在低分辨率下训练，得到的映射函数应用在全分辨率的原输入图上。 映射函数的应用，Intensity transform，巧妙地利用了 tf.gather_nd，后续感想有解释。