【论文】2405.Phased Consistency Model（港中文提出了AI绘画加速模型，一步采样生成图像，支持SD1.5,SDXL）

论文：https://arxiv.org/abs/2405.18407 （2024.05.30发布）
代码：https://github.com/G-U-N/Phased-Consistency-Model

一、论文要解决什么问题？效果如何？ (需要先了解LCM模型)

(阶段性一致性模型:朝着稳定、快速的图像和视频生成方向发展)
一致性模型（CM, Consistency Model）最近在加速生成扩散模型方面取得了显著进展。然而，其在潜在空间（即高分辨率、文本条件的图像生成，简称 LCM, Latent Consistency Model）中的应用仍不令人满意

LCM当前设计的三个主要缺陷：

1. 一致性差：可以发现使用相同种子在不同推理步骤中生成的结果不一致。（见下图右上）
2. 可控性（Controllability）：尽管稳定扩散可以在广泛的推理步骤（即2-15步）中接受分类器无关指导（CFG, Classifier-Free Guidance），但配备LCM权重后，它们只能接受1-2步的CFG。较大的CFG值会导致曝光问题
3. 效率（Efficiency）：我们发现LCM在少数步骤设置中生成的结果质量较差，特别是在少于4步的推理中

提出的PCM模型的生成效果？

采样1次

1.2、相关工作与对比

LCM (Latent Consistency Model) ：https://github.com/luosiallen/latent-consistency-model
相关论文：“Latent Consistency Models: Synthesizing High-Resolution Images with Few-Step Inference”
相关论文：“LCM-LoRA: A Universal Stable-Diffusion Acceleration Module”
SDXL-Turbo:https://huggingface.co/stabilityai/sdxl-turbo
SDXL-Lightning: 2402.Progressive Adversarial Diffusion Distillation.: https://huggingface.co/ByteDance/SDXL-Lightning
InstaFlow!One-Step Stable Diffusion with Rectified Flow： https://github.com/gnobitab/InstaFlow

二、如何在comfyui中使用？

2.1下载模型，放到相应lora文件夹下

https://huggingface.co/wangfuyun/PCM_Weights

pip install -U huggingface_hub
export HF_ENDPOINT=https://hf-mirror.com  # linux
# $env:HF_ENDPOINT = "https://hf-mirror.com"  # windows
huggingface-cli download wangfuyun/PCM_Weights --local-dir PCM_Weights
1
2
3
4

下载完成截图

2.2 工作流

下载地址：https://pan.baidu.com/s/1UjDopbiuPz5jhSLkth3irg?pwd=0415
提取码：0415

2.3 结果与速度

2步采样，4秒 4张1024x1024

三、方法概述

3.1 原论文图3：扩散模型和常微分方程（ODE）

左侧图
这张图展示了四种不同类型模型（扩散模型、一致性模型、一致性轨迹模型和逐步一致性模型）在训练和推理中的差异。

扩散模型 (Diffusion Models)：扩散模型通过拟合得分函数来训练，即估计数据分布的梯度
一致性模型 (Consistency Models): 通过拟合ODE（常微分方程）解来训练。这种模型强制所有轨迹上的点映射到同一个解。
一致性轨迹模型 (Consistency Trajectory Models): 一致性轨迹模型通过拟合任意ODE轨迹来训练。即轨迹中的任意点对之间强制相同的预测。
逐步一致性模型 (Phased Consistency Models) ：逐步一致性模型通过拟合分阶段的ODE解来训练。即将ODE轨迹分为多个子轨迹，并在每个子轨迹上强制执行一致性。

右侧图
展示了数据分布和噪声分布之间的转换过程。

• 橙色实线表示数据分布。
• 橙色虚线表示从数据分布到噪声分布的正向**SDE（随机微分方程）**过程。
• 蓝色虚线表示从噪声分布到数据分布的逆向PF-ODE（概率流ODE）过程。

图4：逐步一致性模型 (Phased Consistency Models)的训练流程

这张图展示了逐步一致性模型（PCM）的训练流程。流程图从左到右展示了数据从编码到解码和对抗训练的全过程

附录