DDPM学习笔记_ddpm笔记

DDPM学习笔记

前言

DDPM（Diffusion probabilistic models）是一种基于扩散过程的生成模型，被广泛应用于自然图像和语音合成等领域。本篇文章将介绍DDPM的基本原理及其在图像生成方面的应用。

基本概念

马尔可夫链（Markov Chain）

马尔可夫链是指一个随机过程，具有马尔可夫性质：对于任意时刻$t$，$X_t$的状态只与其前一个时刻的状态$X_{t-1}$有关，与之前的状态无关。

扩散（Diffusion）

扩散指的是物质在不同浓度之间的流动过程，是一种物理现象。在图像处理中，扩散可以被看作是一种平滑过程，可以使噪声得到消除，同时保持边缘信息。

概率递归（Probabilistic Recursion）

概率递归指的是一个随机变量上的函数，该函数定义了一个从先前样本中提取信息的组合方法，然后将该组合应用于当前样本以获得新的输出值。

DDPM的基本原理

DDPM使用马尔可夫链和概率递归来建模图像数据。具体来说，它通过对一个高维随机向量$x$的扩散过程进行建模来学习$x$的概率密度函数$p(x)$。首先，我们定义每个样本从所谓的“白噪声”开始，并通过有限次迭代的扩散过程来生成样本。在每个迭代中，样本会受到一定程度的随机性扰动，但整体上会保持与之前样本相似的样子。因此，DDPM可以通过训练扩散过程来捕捉图像的统计特性，从而生成新的、合成的样本。

DDPM包括两个主要部分：扩散进程和反演过程。首先，在扩散进程中，DDPM对每个样本从一个高斯分布开始，并通过多次同步地扩散来生成样本。这里的同步是指将所有样本同时传递到下一轮。如上图所示，每个样本可以看作是一个放置在图像中的“颜色粒子”，并通过扩散来移动到新的位置。接下来，在反演过程中，DDPM会尝试从最终扩散状态中抽样，并通过逆扩散来重建原始样本。DDPM的目标是最小化反演过程中重建样本和原始样本之间的差异。

DDPM的应用

DDPM被广泛应用于自然图像合成中。它可以生成具有高度逼真性质的合成图像，并且可以保留原始图像的细节和纹理。此外，DDPM还被用于语音合成、视频处理等领域，在这些领域中，它可以生成更自然的语音或视频序列。

代码实现

以下是使用Python和Pytorch实现DDPM的代码：

import torch
import torch.nn as nn
import torch.nn.functional as F


class Diffusion(nn.Module):
    def __init__(self, timesteps, channels, kernel_size=3, padding=1, diffusivity=0.001):
        super(Diffusion, self).__init__()
        self.timesteps = timesteps
        self.channels = channels
        self.kernel_size = kernel_size
        self.padding = padding
        self.diffusivity = diffusivity

        self.conv = nn.Conv2d(channels, channels, kernel_size=kernel_size, stride=1, padding=padding)
        self.noise = nn.Parameter(torch.randn(1, channels, 1, 1))
        self.register_buffer('mean', torch.zeros(1, channels, 1, 1))
        self.register_buffer('scale', torch.zeros(1, channels, 1, 1))

    def forward(self, x):
        for i in range(self.timesteps):
            noise = self.scale * self.noise * (self.diffusivity ** 0.5)
            x = x + noise
            x = F.relu(x)
            x = self.conv(x)
            x, _ = torch.max(x, dim=1, keepdim=True)
            self.mean -= (self.mean - x) * self.diffusivity
            self.scale += ((x - self.mean.pow(2)) - self.scale) * self.diffusivity

        return x


class InverseDiffusion(nn.Module):
    def __init__(self, channels, kernel_size=3, padding=1):
        super(InverseDiffusion, self).__init__()
        self.channels = channels
        self.kernel_size = kernel_size
        self.padding = padding

        self.conv = nn.Conv2d(channels, channels, kernel_size=kernel_size, stride=1, padding=padding)

    def forward(self, x):
        x = self.conv(x)
        return x


class DDPM(nn.Module):
    def __init__(self, timesteps, in_channels, out_channels, kernel_size=3, padding=1, diffusivity=0.001):
        super(DDPM, self).__init__()
        self.timesteps = timesteps
        self.in_channels = in_channels
        self.out_channels = out_channels
        self.kernel_size = kernel_size
        self.padding = padding
        self.diffusivity = diffusivity

        self.diffusion = Diffusion(timesteps, in_channels, kernel_size, padding, diffusivity)
        self.inverse_diffusion = InverseDiffusion(out_channels, kernel_size, padding)
        self.conv = nn.Conv2d(in_channels=out_channels*2, out_channels=out_channels, kernel_size=3, stride=1, padding=1)

    def forward(self, x):
        x = self.diffusion(x)
        noise = torch.randn_like(x)
        z = x + noise
        z = self.inverse_diffusion(z)
        x = self.conv(torch.cat([x, z], dim=1))
        return x
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67

总结

DDPM是一种高效的生成模型，具有很好的图像合成能力。它可以应用于许多不同的任务，例如自然图像合成、语音合成等。如果您想了解更多关于DDPM的信息，可以参考论文或者其官方代码库。