改进的IAYOLO---GDIP:Gated Differentiable Image Processing for Object-Detection inAdverse Conditions_gdip: gated differentiable image processing for ob

论文地址：https://arxiv.org/abs/2209.14922

代码地址：https://github.com/Gatedip/GDIP-Yolo

motivation：

（1）现有的目标检测器只能在图像质量很好的情况下才能很好地工作，但是如果想要把目标检测器应用于自动驾驶或者是辅助驾驶，其实更有用的是其能够在实际条件下做检测。

（2）IAYOLO在众多恶劣天气的目标检测器的脱颖而出，但是IAYOLO的过滤器是以一定的顺序对图像进行处理然后进行检测，作者在文中提到这会影响IAYOLO的性能。

创新点：

（1）提出了一种gating mechanism（门控机制），可以使得多个可微图像处理模块concurrent relative weighting（并发相对加权），增强在不同条件下的目标检测。

（2）多尺度的MGDIP。

（3）讲GDIP作为YOLO v3的一个正则化器，直接使YOLO v3针对恶劣天气进行训练，在推理过程中可以删除GDIP。

提出的方法：

（1）GDIP：

和IAYOLO类似，都是采用一些Image Processing（图像处理IP）操作，但是GDIP中的IP并发执行，并且加权组合。

如图所示，每一个Gb的输入都是来自一个Vison Encoder（CNN网络：包含5个卷积层，每个卷积层后是平均池化，最后一层后是全局平均池化，得到的维度是1*1*1024；再经过一个全连接层降维至256）；其中每一个Gb都包含

一个线性层；

一个可微图像处理模块IP，所有IP的输出都会乘以门的标量作为Gb的输出；

一个gate（门：这个gate使用tanh函数返回的是0-1之间的一个值。），

一个归一化操作。

最终对所有的Gb的输出聚合，进而得到想要的增强的图像。公式表达如下：（z是增强后的图像；f 表示IP图像处理操作； 表示gate输出的标量；N为归一化操作）

（2）MGDIP:

       由于上述的GDIP只使用vision encoder的最后一层，这限制了GDIP可使用参数的范围，所以进一步改进如图：

       MGDIP通过将一个GDIP块的输出作为下一个GDIP块的输入逐步增强图像，其中各个GDIP块由vision encoder不同层提取的特征引导。MGDIP的最终增强输出被传递给Yolo进行目标检测。

      

（3）GDIP作为一个正则器：

       如图所示：增强的图像并作为YOLO的输入而是训练正则化得到的副产品。并且这里的GDIP仅仅是为了完善YOLO，让它能够更好的学习的特征，所以它只有在训练的时候才会用到。

       将GDIP作为正则化器重新定义的损失函数为：LReg 为重构损失，计算清晰图像和输入图像的L1范数和均方误差损失的组合。

效果：

其中一个消融实验：

在论文有一个gate，前面说它是经过tanh函数输出对应于[0,1]的标量 ，这里作者论文里做了一个消融实验，来证明gate的必要性。没有了 对应于数据集RTTS（有雾）和ExDark（低光照）的mAP分别下降了0.77和0.27。作者在这里给了一张图：在图里可以看到对于低光照，对应的gamma gate的激活值最高；对于有雾的图，DF（除雾）是最高的。增强了GDIP的可解释性。