Implicit Diffusion Models for Continuous Super-Resolution学习笔记

作者：知新_RL | 2024-03-20 21:46:20

踩

implicit diffusion models for continuous super-resolution

Implicit Diffusion Models for Continuous Super-Resolution学习笔记

method

CVPR 2023

motivation：

目前的SR方法通常存在过平滑和伪影，且大多数只使用固定放大倍率的工作。

contribution：

IDM在统一的端到端框架中集成了隐式神经表示和去噪扩散模型，增强 SR 图像的高保真细节。
计了一种尺度自适应调节机制，动态调整来自 LR 特征的真实信息与扩散过程中生成的精细细节的比率。

method

请添加图片描述

集成了Implicit Neural Representation（隐式神经表示）和去噪扩散模型
低分辨率图像x通过EDSR提取特征，将 $f^{(0)}$ 和 $y_t$ 连接起来，并将结果输入到U-Net中进行初步条件指导。 $f^{(0)}$ 同时传入CNN
$\mathbf{f}^{(i)}=\mathbf{Conv}\left(\mathbf{f}^{(i-1)}\right),\quad(4)$
Conv 表示具有双线性滤波下采样操作的卷积层和leaky ReLU

Scaling Factor Modulation（比例因子调制）

引入了一个比例因子s作为扩散过程的条件，目的：实现连续分辨率的放大。
首先定义一个区间 (1, M )，其中 M 是最大放大率，并在训练期间从区间中随机选择。
做法：将 s 映射到一组缩放向量 $\alpha = \left\{\alpha_{1}^{(1)},\alpha_{2}^{(1)},\ldots,\alpha_{1}^{(i)},\alpha_{2}^{(i)},\ldots,\alpha_{1}^{(N)},\alpha_{2}^{(N)}\right\}$

\begin{aligned} α = R e s h a p e (M L P (s)), & (5) \\ {\bar{α}}_{1}^{(} i) = \frac{| α_{1}^{(i)} |}{\sqrt{α_{1}^{(i)^{2}} + α_{2}^{(i)^{2}} + δ}}, & (6) \\ \bar{o} i_{2}^{(i)} = \frac{| α_{2}^{(i)} |}{\sqrt{α_{1}^{(i)^{2}} + α_{2}^{(i)^{2}} + δ}}, & (7) \\ h^{(i)} = {\bar{α}}_{1}^{(i)} \cdot f^{(i)} + {\bar{α}}_{2}^{(i)} \cdot C o n c a t (u_{u p}^{(i)}, u_{d o w n}^{(i)}), & (8) \end{aligned}

$\begin{aligned} \alpha=Reshape(\mathrm{MLP}(s)),& \left(5\right) \\ \bar{\alpha}_{1}^{(} i)=\frac{\left|\alpha_{1}^{(i)}\right|}{\sqrt{\alpha_{1}^{(i)^{2}}+\alpha_{2}^{(i)^{2}}+\delta}}, & (6) \\ \overline{o} i_{2}^{(i)}=\frac{\left|\alpha_{2}^{(i)}\right|}{\sqrt{\alpha_{1}^{(i)^{2}}+\alpha_{2}^{(i)^{2}}+\delta}}, & \left(7\right) \\ \mathbf{h}^{(i)}=\bar{\alpha}_{1}^{(i)}\cdot\mathbf{f}^{(i)}+\bar{\alpha}_{2}^{(i)}\cdot\mathbf{Concat}\left(\mathbf{u}_{\mathrm{up}}^{(i)},\mathbf{u}_{\mathrm{down}}^{(i)}\right),& \left(8\right) \end{aligned}$

α = R es ha p e (MLP (s)), \overset{α}{ˉ}_{1}^{(} i) = \frac{α _{1}^{(i)}}{α _{1}^{(i)^{2}} + α _{2}^{(i)^{2}} + δ}, \overline{o} i_{2}^{(i)} = \frac{α _{2}^{(i)}}{α _{1}^{(i)^{2}} + α _{2}^{(i)^{2}} + δ}, h^{(i)} = \overset{α}{ˉ}_{1}^{(i)} \cdot f^{(i)} + \overset{α}{ˉ}_{2}^{(i)} \cdot Concat (u_{up}^{(i)}, u_{down}^{(i)}), (5) (6) (7) (8)

$\mathbf{u}_{\mathrm{up}}^{(i)}$ , $\mathbf{u}_{\mathrm{down}}^{(i)}$ 分别指U-Net Decoder和Encoder的feature map

Implicit Neural Representation（隐式神经表示）

解决问题：
流行的 SR 方法通常受到复杂的级联管道或两阶段训练策略（以此实现连续分辨率）
做法：
将coordinate-based（基于坐标）的MLP插入到U-Net架构的上采样中，以参数化隐式神经表示
c：多分辨率特征的连续坐标，利用比例因子s从去噪网络中获得
$\mathbf{u}_{\mathrm{up}}^{(i)}=D_i\left(\hat{\mathbf{h}}^{(i+1)},c^{(i)}-\hat{c}^{(i+1)}\right),\quad(9)$

experiments

请添加图片描述

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/知新_RL/article/detail/276169