当前位置:   article > 正文

Stable Diffusion 又是一个史诗级增强、出图效率暴增 5 倍_lcm模型

lcm模型

AI 绘画进化的速度真的真的是太快了!!最近爆火的新一代生成模型 LCM 席卷而来,可以大大的提升出图效率。

今儿我们就来一起尝尝鲜!

一 LCM 简介

LCM 全称 Latent Consistency Models(潜在一致性模型),是清华大学交叉信息科学研究院研发的一款生成模型。

它的特点是可以通过少量步骤推理合成高分辨率图像,使图像生成速度提升 2-5 倍,需要的算力也更少。

官方称 LCMs 是继 LDMs(Latent Diffusion Models 潜在扩散模型)之后的新一代生成模型。

如果之前有了解过 Stable Diffusion 的出图过程,我们应该知道 Stable Diffusion 的出图过程其实是从一张纯噪声图中去噪点,最后变成一张清晰的图片,这大概需要 20-50 步(也就是我们设置的步数)

而 LCM 强调的是不要再一步步迭代了, 直接追求“一步到位”。LCM 是在 Consistency Models 的基础上引入了 Lantent Space (潜空间),进一步压缩需要处理的数据量,从而实现超快速的图像推理合成。只需要 2-4 步即可完成!

可以先来看看效果图:

4 步效果图

2 步效果图

1 步效果图

二 尝鲜使用

目前有三种玩法,大家可以挑选使用

直接在线把玩(科学上网)

  • 文生图:https://huggingface.co/spaces/SimianLuo/Latent_Consistency_Model

  • 图生图:https://replicate.com/fofr/latent-consistency-model

基于 Dreamshaper-V7 大模型使用

目前官网只提供了 Dreamshaper-V7 和 LCM-SDXL 是 2 款可以 Stable Diffusion 中使用的模型。并且需要安装 LCM 插件。

  • 插件地址:https://github.com/0xbitches/sd-webui-lcm

  • 模型地址:https://huggingface.co/SimianLuo/LCM_Dreamshaper_v7/tree/main

  • lcm-sdxl: https://huggingface.co/latent-consistency/lcm-sdxl

基于 LCM-LoRA 使用

除了上述的大模型,官方还提供了一个 LoRa 模型,目前可以搭配 SD1.5 和 SDXL 的所有大模型使用,

目前可以在 ComfyUI 和 Fooocus 中使用 LCM-LoRA 模型

  • SD1.5 lora: https://huggingface.co/latent-consistency/lcm-lora-sdv1-5

  • sdxl lora: https://huggingface.co/latent-consistency/lcm-lora-sdxl

在使用了 LCM 后整个的出图效果确实大大的提升了,但是质量来看还是会差那么一些。

目前尝鲜,还是可以玩玩的,后续 LCM 有了更多的增强我们在进一步来分享!

如果你觉得教程还不错,别忘了把好内容分享给身边的小伙伴哦

声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/正经夜光杯/article/detail/861378
推荐阅读
相关标签