秒级生图，大模型 SDXL-turbo、LCM-SDXL 实战案例来了_sdxl turbo

最近一个月，快速生图成为文生图领域的热点，其中比较典型的两种方式的代表模型分别为SDXL-turbo 和 LCM-SDXL。

SDXL-turbo 模型是 SDXL 1.0 的蒸馏版本，SDXL-Turbo 基于一种称之为对抗扩散蒸馏（ADD）的新颖的训练方法，这种方法在扩散模型采样可以减少到1到4步，而生成高质量图像。ADD的训练方式使用score distillation，利用大规模扩散模型作为教师模型，并将其与对抗性损失相结合，即使在1-2步的采样步骤的低步骤状态下，使用对抗学习的方式，引入discriminator来辅助生成质量的把控，也可以确保高质量图像的保真度。

目前，SDXL-turbo 和 LCM-SDXL 均已开源可体验使用，今天我分享二者秒级生图的推理、微调最佳实践，欢迎围观效果！喜欢本文记得收藏、点赞、关注。

技术交流

前沿技术资讯、算法交流、求职内推、算法竞赛、面试交流(校招、社招、实习)等、与 10000+来自港科大、北大、清华、中科院、CMU、腾讯、百度等名校名企开发者互动交流~

我们建了大模型技术交流群， 想要进交流群、需要源码&资料、提升技术的同学，可以直接加微信号：mlc2060。加的时候备注一下：研究方向 +学校/公司+CSDN，即可。然后就可以拉你进群了。

方式①、微信搜索公众号：机器学习社区，后台回复：技术交流
方式②、添加微信号：mlc2060，备注：技术交流+CSDN

用通俗易懂的方式讲解系列

• 用通俗易懂的方式讲解：不用再找了，这是大模型最全的面试题库
• 用通俗易懂的方式讲解：这是我见过的最适合大模型小白的 PyTorch 中文课程
• 用通俗易懂的方式讲解：一文讲透最热的大模型开发框架 LangChain
• 用通俗易懂的方式讲解：基于 LangChain + ChatGLM搭建知识本地库
• 用通俗易懂的方式讲解：基于大模型的知识问答系统全面总结
• 用通俗易懂的方式讲解：ChatGLM3 基础模型多轮对话微调
• 用通俗易懂的方式讲解：最火的大模型训练框架 DeepSpeed 详解来了
• 用通俗易懂的方式讲解：这应该是最全的大模型训练与微调关键技术梳理
• 用通俗易懂的方式讲解：Stable Diffusion 微调及推理优化实践指南
• 用通俗易懂的方式讲解：大模型训练过程概述
• 用通俗易懂的方式讲解：专补大模型短板的RAG
• 用通俗易懂的方式讲解：大模型LLM Agent在 Text2SQL 应用上的实践
• 用通俗易懂的方式讲解：大模型 LLM RAG在 Text2SQL 上的应用实践
• 用通俗易懂的方式讲解：大模型微调方法总结
• 用通俗易懂的方式讲解：涨知识了，这篇大模型 LangChain 框架与使用示例太棒了
• 用通俗易懂的方式讲解：掌握大模型这些优化技术，优雅地进行大模型的训练和推理！
• 用通俗易懂的方式讲解：九大最热门的开源大模型 Agent 框架来了

环境准备

环境配置与安装

1. python 3.8及以上版本

2. pytorch 1.12及以上版本，推荐2.0及以上版本

3. 建议使用CUDA 11.4及以上

本文主要演示的模型推理代码可在魔搭社区免费实例PAI-DSW的配置下运行（显存24G） ：

第一步：点击模型右侧Notebook快速开发按钮，选择GPU环境

第二步：新建Notebook

安装依赖库

pip install diffusers -U
1

秒级生图模型实践

SDXL-Turbo最佳实践

文生图推理：

from diffusers import AutoPipelineForText2Image
import torch
from modelscope import snapshot_download

model_dir = snapshot_download("AI-ModelScope/sdxl-turbo")

pipe = AutoPipelineForText2Image.from_pretrained(model_dir, torch_dtype=torch.float16, variant="fp16")
pipe.to("cuda")

prompt = "Beautiful and cute girl, 16 years old, denim jacket, gradient background, soft colors, soft lighting, cinematic edge lighting, light and dark contrast, anime, art station Seraflur, blind box, super detail, 8k"

image = pipe(prompt=prompt, num_inference_steps=1, guidance_scale=0.0).images[0]
image.save("image.png")
1
2
3
4
5
6
7
8
9
10
11
12
13

生成图片：

生成速度1秒以内：

图生图推理：

from diffusers import AutoPipelineForImage2Image
from diffusers.utils import load_image
from modelscope import snapshot_download
model_dir = snapshot_download("AI-ModelScope/sdxl-turbo")
pipe = AutoPipelineForImage2Image.from_pretrained(model_dir,  variant="fp16")

init_image = load_image("image.png").resize((512, 512))

prompt = "grey image"

image = pipe(prompt, image=init_image, num_inference_steps=2, strength=0.5, guidance_scale=0.0).images[0]
image.save("image1.png")
1
2
3
4
5
6
7
8
9
10
11
12

生成灰白质感的图片：

生成速度：12秒

LCM-SDXL最佳实践

文生图推理：

from diffusers import UNet2DConditionModel, DiffusionPipeline, LCMScheduler
import torch
from modelscope import snapshot_download

model_dir_lcm = snapshot_download("AI-ModelScope/lcm-sdxl",revision = "master")
model_dir_sdxl = snapshot_download("AI-ModelScope/stable-diffusion-xl-base-1.0",revision = "v1.0.9")

unet = UNet2DConditionModel.from_pretrained(model_dir_lcm, torch_dtype=torch.float16, variant="fp16")
pipe = DiffusionPipeline.from_pretrained(model_dir_sdxl, unet=unet, torch_dtype=torch.float16, variant="fp16")

pipe.scheduler = LCMScheduler.from_config(pipe.scheduler.config)
pipe.to("cuda")

prompt = "Beautiful and cute girl, 16 years old, denim jacket, gradient background, soft colors, soft lighting, cinematic edge lighting, light and dark contrast, anime, art station Seraflur, blind box, super detail, 8k"


image = pipe(prompt, num_inference_steps=4, guidance_scale=8.0).images[0]
image.save("image.png")
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18

生成图片：

2步效果欠佳：

4步效果不错：

4步生成速度1秒多：

微调 LCM-LoRA 在 FaceChain 的最佳实践

FaceChain 是一个可以用来打造个人数字形象的深度学习模型工具。用户仅需要提供最低一张照片即可获得独属于自己的个人形象数字替身。FaceChain支持在gradio的界面中使用模型训练和推理能力、支持资深开发者使用python脚本进行训练推理，也支持在sd webui中安装插件使用。

GitHub链接： https://github.com/modelscope/facechain

FaceChain SDXL模型结合LCM采样器进行推理加速。推理步数由40步减少至8步，推理时间由40s减少至8s。

运行FaceChain WebUI示例代码：

# Step1: 我的notebook -> PAI-DSW -> GPU环境

# Step2: Entry the Notebook cell，clone FaceChain from github:
!GIT_LFS_SKIP_SMUDGE=1 git clone https://github.com/modelscope/facechain.git --depth 1

# Step3: Change the working directory to facechain, and install the dependencies:
import os
os.chdir('/mnt/workspace/facechain')    # You may change to your own path
print(os.getcwd())

!pip3 install gradio==3.50.2
!pip3 install controlnet_aux==0.0.6
!pip3 install python-slugify
!pip3 install onnxruntime==1.15.1
!pip3 install edge-tts

# Step4: Start the app service, click "public URL" or "local URL", upload your images to 
# train your own model and then generate your digital twin.
!python3 app.py
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19

在FaceChain的Web-UI demo中，图片推理时，高级选项中采样器选项选择使用LCM采样器，如下图：

生成效果如下：

小编认为，LCM-LoRA在个人数字形象生成这个场景中，表现不如原版SDXL，有一定的图片受损。

总结

本文使用的模型链接：

SDXL-Turbo：

https://modelscope.cn/models/AI-ModelScope/sdxl-turbo

LCM-SDXL：

https://modelscope.cn/models/AI-ModelScope/lcm-sdxl

LCM-LoRA-SDXL：

https://modelscope.cn/models/AI-ModelScope/lcm-lora-sdxl

相关模型链接：

SDXL 1.0：

https://modelscope.cn/models/AI-ModelScope/stable-diffusion-xl-base-1.0