使用StableDiffusion进行图片Inpainting原理_stable diffusion inpainting

• 论文链接：RePaint: Inpainting using Denoising Diffusion Probabilistic Models
• 代码链接：RePaint

Inpainting任务是指在任意一个二进制的掩码指定的图片区域上重新生成新的内容，且新生成的内容需要和周围内容保持协调。当前SOTA模型用单一类型的 mask 训练限制了模型的泛化能力，此外 pixel-wise 和 perceptual loss 会导致生成模型朝着纹理填充而不是语义修复方向更新。
本文提出了基于去噪扩散概率模型的图像修复方法Repaint，该方法甚至对于极端的 mask 情况（如mask 面积很大，几乎遮挡了整幅图像）都适用。本文利用一个预训练的 Unconditional DDPM 作为先验模型。为了调节生成过程，我们使用给定的图像信息仅对未屏蔽区域进行采样来改变反向扩散迭代。由于该技术不修改原始 DDPM 网络本身，因此该模型可以为任何修复形式生成高质量的图像。

1. 预备知识

本章节将介绍几个后面要用到的DDPM的结论，关于这些结论是如何得到的以及DDPM的相关知识可以移步至 通俗理解DDPM到Stable Diffusion原理。

扩散的前向过程：
$$q(x_t|x_{t-1})=\mathcal{N}(x_t;\sqrt{1-{\beta }_t}{x}_{t-1},{\beta }_t\text{I})\text{(1)}$$
进一步可以直接从$x_0$推到出加噪后的$x_t$:
q ( x t ∣ x 0 ) = N ( x t ; α ˉ t x 0 , ( 1 − α ˉ t ) I ) ( 2 ) q(x_t|x_0)=\mathcal{N}(x_t;\sqrt{\bar{\alpha}_t}x_0,(1-\bar{\alpha}_t)\mathbf{I})\quad(2) q(xt​∣x