Deblurring via Stochastic Refinement (Paper reading)

Deblurring via Stochastic Refinement (Paper reading)

Jay Whang, University of Texas at Austin, USA, CVPR2022, Cited:24, Code: 无, Paper

1. 前言

运动物体，相机抖动或失焦镜头等各种条件都可能导致伪影模糊。本文将去模糊作为一个条件生成建模任务，即引入了“预测和优化”条件扩散模型，相对于经典扩散模型，提出方法更有效的采样。OK, 又是to the best of our konwledge，第一个去模糊的扩散模型。还有一个有意思的点，就是对噪声$\bar{\alpha }$提出了改进，是模型可以在Perception-Distortion(P-D)上权衡。

2. 整体思想

其实就是额外训练了一个去模糊网络(预测)，然后得到的去模糊图像(Initial predicition)通过扩散模型来refine。如图，上面是扩散模型，去噪器以模糊图像和噪声作为输入，得到residual和去模糊图像相加得到输出。

3. 方法

加条件的方法与SR3一样，然后然后好像就结束了？真的没什么可说的了！！扩散模型的DDPM损失函数如下：
$$\mathbb{E}||ϵ-{ϵ}_{\theta }(\sqrt{\bar{\alpha }}{x}_0+\sqrt{1-\bar{\alpha }}ϵ,t)|{|}^2\text{\hspace{1em}(1)}$$
本文的损失函数为：
$$\mathbb{E}||ϵ-{ϵ}_{\theta }(\sqrt{\bar{\alpha }}{x}_0+\sqrt{1-\bar{\alpha }}ϵ,\bar{\alpha },y)|{|}_1\text{\hspace{1em}(2)}$$
有点不太一样? 这里的$y$就是条件，作为去噪器的输入。在Wavegrad: Estimating Gradients for Waveform Generation中，指出L1范数效果好，且$\bar{\alpha }$是与时间$t$有关的且效果好。

在所有的感知指标上实现了SOTA，同时维持了良好的SoTA：

4. 总结

方法简单，效果不错。