AI绘画Stable Diffusion速度与质量的革新：揭秘SDXL-Lightning绘画模型！_sd-lite 模型

今天我们来介绍一个由字节出品的最新的文生图开放模型：SDXL-Lightning。

可以用更少的步数出更高质量的图像。

引用一下官方的话就是：SDXL-Lightning 实现了前所未有的速度和质量。

01、介绍

生成式 AI 正凭借其根据文本提示（text prompts）创造出惊艳图像乃至视频的能力，赢得全球的瞩目。当前最先进的生成模型依赖于扩散过程（diffusion），这是一个将噪声逐步转化为图像样本的迭代过程。这个过程需要耗费巨大的计算资源并且速度较慢，在生成高质量图像样本的过程中，单张图像的处理时间约为 5 秒，其中通常需要多次（20 到 40 次）调用庞大的神经网络。这样的速度限制了有快速、实时生成需求的应用场景。如何在提升生成质量的同时加快速度，是当前研究的热点领域，也是我们工作的核心目标。

SDXL-Lightning 通过一种创新技术——渐进式对抗蒸馏（Progressive Adversarial Distillation）——突破了这一障碍，实现了前所未有的生成速度。该模型能够在短短 2 步或 4 步内生成极高质量和分辨率的图像，将计算成本和时间降低十倍。我们的方法甚至可以在 1 步内为超时敏感的应用生成图像，虽然可能会稍微牺牲一些质量。

除了速度优势，SDXL-Lightning 在图像质量上也有显著表现，并在评估中超越了以往的加速技术。在实现更高分辨率和更佳细节的同时保持良好的多样性和图文匹配度。

SDXL-Lightning绘画模型下载请看文末扫描获取

速度对比示意

原始模型（20 步），SDXL-Lightning 模型（2 步）

02、模型效果

SDXL-Lightning 模型可以通过 1 步、2 步、4 步和 8 步来生成图像。推理步骤越多，图像质量越好。

以下是 4 步生成结果——

A girl smiling

A pickup truck going up a mountain switchback

A fish on a bicycle, colorful art

A close-up of an Asian lady with sunglasses

A beautiful cup

A panda swimming

A pickup truck going up a mountain switchback

House in the desert, surreal landscapes

以下是 2 步生成结果——

A tea cup containing clouds

A family, medium shot

Baby playing with toys in the snow

An old man and a dog are walking in the park

Dragon driving a car

A monkey making latte art

与以前的方法（Turbo 和 LCM）相比，我们的方法生成的图像在细节上有显著改进，并且更忠实于原始生成模型的风格和布局。

03、部署

SDXL-Lightning 提供了 1 步、2 步、4步、8步 总共四个模型，还有提供了 3 个 Lora 模型，可以结合不同的 SDXL 模型来实现加速的效果。

先把 ComfyUI 更新到最新版本，然后把模型放入对应的 ComfyUI 模型的目录下。

复制文件夹里的模型到本地 ComfyUI 对应的文件夹里就可以了。

SDXL-Lightning 提供了三种工作流的使用方式。

第一个是一个正常的文生图的基础工作流。

模型加载好以后，直接用就可以。除了 1 步的模型这里不能使用以外，其他三个模型都可以直接使用。

采样器选择：euler

调度器选择：sgm_uniform

CFG设置：1

这里使用了 2 步的模型，步数设置为 2，看下出图效果。

2 步就可以生成这么高质量的图片，真的很可以了。

尺寸是 1024 * 1024，相比于 SDXL-Turbo 的 512 * 512 画质更好。

还有 4 步 和 8 步的模型，出图效果更好，生成速度上依旧很快，8 步模型，步数设置为 8，出图的速度依旧控制在 5s。

第二个工作流是在文生图的基础工作流上加上一个 Lora 的节点。

可以结合其他 SDXL 大模型使用，Lora 选择的时候选择 SDXL-Lightning 的 Lora 模型就可以。

这里试了两个 SDXL 大模型，速度依旧很快，出图效果也很不错哦！

在之前的讨论中，我们提到了下载了一个UNET模型但尚未使用。

UNET是一种常用于图像分割的深度学习模型。

接下来，我们将详细介绍如何在工作流中使用这个UNET模型，包括新增的UNET加载器节点和模型离散采样算法节点。

UNET加载器 中的模型要和 Checkpoint加载器中的模型步数保持一致。记得迭代步数也要调整成一致的哦！

模型离散采样算法可以看到有四个算法可供选择，如果选择 1 步的模型，这里需要选 x0。

其他三个模型算法选择：等概率抽样，也就是 eps，或者选择 lcm 也可以。

算法要选对哦，要不然生成的图会有问题。

unet 模型，理论上可以让出图的质量更高，细节控制更好。

写在最后

感兴趣的小伙伴，赠送全套AIGC学习资料，包含AI绘画、AI人工智能等前沿科技教程和软件工具，具体看这里。

AIGC技术的未来发展前景广阔，随着人工智能技术的不断发展，AIGC技术也将不断提高。未来，AIGC技术将在游戏和计算领域得到更广泛的应用，使游戏和计算系统具有更高效、更智能、更灵活的特性。同时，AIGC技术也将与人工智能技术紧密结合，在更多的领域得到广泛应用，对程序员来说影响至关重要。未来，AIGC技术将继续得到提高，同时也将与人工智能技术紧密结合，在更多的领域得到广泛应用。
 

一、AIGC所有方向的学习路线

AIGC所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照下面的知识点去找对应的学习资源，保证自己学得较为全面。

二、AIGC必备工具

工具都帮大家整理好了，安装就可直接上手！

三、最新AIGC学习笔记

当我学到一定基础，有自己的理解能力的时候，会去阅读一些前辈整理的书籍或者手写的笔记资料，这些笔记详细记载了他们对一些技术点的理解，这些理解是比较独到，可以学到不一样的思路。

四、AIGC视频教程合集

观看全面零基础学习视频，看视频学习是最快捷也是最有效果的方式，跟着视频中老师的思路，从基础到深入，还是很容易入门的。

五、实战案例

纸上得来终觉浅，要学会跟着视频一起敲，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。

若有侵权，请联系删除