基于Retinex模型的弱光图像联合去噪与增强_retinex model lowlight

一、文章摘要概述

文章的题目是：
《Joint Denoising and Enhancement for Low-Light Images via Retinex Model》
  这是一篇2017年北大-刘家瑛团队一篇会议文章。基于Retinex模型，针对分解后照明图光照L2约束导致的伪影和反射图噪声问题，文章提出一个全变差优化函数(Total Variation Optimization Function)实现以下功能：

1. 反射图：估计噪声抑制反射率
2. 照明图：分段平滑光照
3. 抑制反射率梯度，提高全局对比度

  我之前也接触过图像去噪问题，比如空域/频域滤波、BM3D等，目前在研究弱光图像增强这部分(传统方法+深度学习方法)，也有考虑过做联合去噪和增强，但是考虑到去噪和增强并不是独立的部分，单独处理哪个都会对后面操作造成影响，所以这篇文章和我之后要介绍的弱光图像序列增强(同一团队)的方法值得我在后面的工作中去借鉴。

二、联合去噪增强模型

文章指出了图像增强和去噪的矛盾：

• 先增强再去噪：增强之后噪声被放大，增加了去噪的难度。
• 先去噪再增强：增强之后会出现图像模糊。

基于Retinex理论的光照估计方法，如对数域照明估计、NPE、Mul_fusion、SRIE、LIME等方法由于缺乏对反射率的约束，所以会放大弱光图像潜在的噪声。针对输入弱光图像$\mathbf{I}$，下面隆重介绍文章提出的全局优化方法同步估计照明图$\mathbf{R}$和反射图$\mathbf{R}$：
$$\underset{\mathbf{R},\mathbf{L}}{\mathrm{argmin}}{\Vert \mathbf{R}\circ \mathbf{L}-\mathbf{I}\Vert }_F^2+\alpha {\Vert ▽\mathbf{R}\Vert }_F^2+\beta {\Vert ▽\mathbf{L}\Vert }_1+\omega {\Vert ▽\mathbf{R}-\mathbf{G}\Vert }_F^2$$
$G$是输入图的调整梯度：$\mathbf{G}=\mathbf{K}\circ ▽\hat{\mathbf{I}}$
其中： { K = ( 1 + λ e − ∣ ▽ I ^ ∣ / σ ) , ▽ I ^ = { 0 i f ∣ ▽ I ∣ < ε ▽ I o t h e r w i s e \left\{

$$\begin{matrix} K=(1+\lambda e^{-\left | \bigtriangledown\widehat{\mathbf{I}} \right |/\sigma }), & \\ \bigtriangledown\widehat{\mathbf{I}}=\left\{\begin{matrix} 0 & if \left | \bigtriangledown \mathbf{I} \right |<\varepsilon \\ \bigtriangledown \mathbf{I} & otherwise \end{matrix}$$ \right. & \end{matrix}\right. ⎩⎨⎧​K=(1+λe−∣▽I ∣/σ),▽I ={0▽I​if∣▽I∣<εotherwise​​​
式中$\alpha$、$\beta$、$\omega$表示系数，$\circ$表示点积操作，${\Vert \cdot \Vert }_F$和${\Vert \cdot \Vert }_1$分别表示$F$范数和$1$范数，$▽$表示一阶微分算子，对于调整梯度$G$：$K$是随着$▽\hat{\mathbf{I}}$的增大而减小的，保证高梯度级小变化低梯度级较大变化的特点，使得调整梯度$G$具有较为相似的变化幅度。
各分量意义如下：

• ${\Vert \mathbf{R}\circ \mathbf{L}-\mathbf{I}\Vert }_F^2$：输入图像和重构图像的保真度约束。
• ${\Vert ▽\mathbf{R}\Vert }_F^2$：反射图约束，增强图像空间平滑性。
• ${\Vert ▽\mathbf{L}\Vert }_1$：照明图约束，增强图像光照分段平滑性。
• ${\Vert ▽\mathbf{R}-\mathbf{G}\Vert }_F^2$：输入图和反射图梯度距离约束，增强全图对比度。

由于文章只展示了最后的增强结果，所以我们无法从单方面的效果来判断约束方程在某一部分的功能，但是既然整体效果都没问题，那解释都是OK的啦，下面介绍下文章对约束方程求解过程(本人非数学专业解释有限，谅解~)

文章表示使用交替方向极小化(ADM，alternating direction minimization)[原文链接]可以有效解决该优化问题。
Step 1：用变量$\mathbf{T}$替换$▽\mathbf{L}$，重写等式为：
$$\underset{\mathbf{R},\mathbf{L},\mathbf{T}}{\mathrm{argmin}}{\Vert \mathbf{R}\circ \mathbf{L}-\mathbf{I}\Vert }_F^2+\alpha {\Vert ▽\mathbf{R}\Vert }_F^2+\beta {\Vert \mathbf{T}\Vert }_1+\omega {\Vert ▽\mathbf{R}-\mathbf{G}\Vert }_F^2$$$$s.t.\mathbf{T}=▽\mathbf{L}$$Step 2：引入拉格朗日乘子$Z$来移除等式约束，得到拉格朗日方程：
$$l(\mathbf{R},\mathbf{L},\mathbf{T},\mathbf{Z})={\Vert \mathbf{R}\circ \mathbf{L}-\mathbf{I}\Vert }_F^2+\alpha {\Vert ▽\mathbf{R}\Vert }_F^2+\beta {\Vert \mathbf{T}\Vert }_1+\omega {\Vert ▽\mathbf{R}-\mathbf{G}\Vert }_F^2+\Phi (\mathbf{Z},▽\mathbf{L}-\mathbf{T})$$其中：$$\Phi (\mathbf{Z},▽\mathbf{L}-\mathbf{T})=⟨\mathbf{Z},▽\mathbf{L}-\mathbf{T}⟩+(\mu /2){\Vert ▽\mathbf{L}-\mathbf{T}\Vert }_F^2$$$⟨\cdot ,\cdot ⟩$表示矩阵内积，$\mu$表示正系数。
Step 3：以上的目标函数可以通过初始化后每次更新一个变量其他变量固定的方式依次迭代得到每个变量的最优解。
Step 4：更新完照明图$L$和反射图$R$之后，通过Gamma矫正得到最终增强图${\mathbf{I}}^{\prime }$，公式如下：$${\mathbf{I}}^{\prime }=\mathbf{R}\circ {\hat{\mathbf{L}}}^{1/\gamma }$$根据经验$\gamma$设置为2.2。

有大佬知道怎么求解这个约束的，欢迎留言讨论谢谢~

三、效果展示

CLAHE和SRIE不能有效恢复图像对比度；GC和LIME可以恢复图像对比度，但会产生过增强。NPE增强效果较好，但不能有效去噪。

1、源码

文章[PDF]
目前还木有源码~~有时间我在找找

2、个人总结

我个人认为从图像整体结构信息保留的程度来说，应该先增强在去噪，噪声信息虽然被放大但是我们还是可以通过各种手段去除掉大部分噪声的，如果是先去噪，很多图像细节像图像边缘的高频信息很容易被模糊掉，后面在增强就很难恢复原来的图像特征了，所以分开的话增强一般是要放在前面的，但是由于光照估计没有一个确定值，所以图像去噪仍是联合去噪增强的首要任务。