ComfyUI 完全入门：使用LoRA模型_comfyui模型

前言

本文继续给大家分享ComfyUI的入门必备技能：使用LoRA模型。

LoRA模型是一种微调模型，它不能独立生成图片，常常用作大模型的补充，用来生成某种特定主体或者风格的图片，比如插画风格、机械战衣、粘土风格等等。

ComfyUI介绍

很多同学对ComfyUI可能还不太了解，我这里做一个简单的介绍。

在AI绘画领域，Stable Diffusion 因其开源特性而受到广泛的关注和支持，背后聚拢了一大批的应用开发者和艺术创作者，是AI绘画领域当之无愧的王者。

目前使用 Stable Diffusion 进行创作的工具主要有两个：Stable Diffusion WebUI 和 ComfyUI。

Stable Diffusion WebUI 开箱即用，各项功能齐全，社区也有很多的插件支持，入门比较简单，适合新手，但是可定制性稍微差点，很多作品不容易传播复现，使用API进行操作也有一定的难度。

ComfyUI 出来的晚一点，但是它的可定制性很强，可以让创作者搞出各种新奇的玩意，通过工作流的方式，也可以实现更高的自动化水平，创作方法更容易传播复现，发展势头特别迅猛。但是 ComyUI 的上手门槛有点高，对 Stable Diffusion 以及各种扩展能力的原理需要有一定的理解，动手能力要求也比较高。

为了方便大家尽快上手ComfyUI，本系列文章将会介绍一些 ComfyUI 的概念和使用方法，让大家更快的掌握 ComfyUI 的使用技巧，创作出自己独特的艺术作品。

ComfyUI 安装部署

本地安装部署

使用云端服务器

这里给大家推荐两个我经常使用的：

• 京东云：最近京东大举进入AIGC领域，不仅价格低到每小时1毛8，更有免费代金券可以领取，机不可失。领取代金券，请发消息 “京东云” 到公众号 “萤火遛AI”。
• AutoDL：AutoDL出来的比较早，价格也很公道，相比阿里云、腾讯云，简直实惠的不得了，而且AutoDL有多种显卡型号可供选择。

使用LoRA模型

下载LoRA模型

在模型下载网站，如果模型是LoRA模型，网站会特别标识出来。

模型左上角会有一个模型类型的标记，CHECKPOINT 代表大模型，LORA 代表这是一个LoRA模型。

另外LoRA模型也区分SD1.5和SDXL，不能混用，这个信息可以在模型的详细页面看到：

另外我们还可以在页面上看到两个关键的信息：

• 下载：点击下载到本地。LoRA模型文件一般比基础模型要小很多，只有几十、几百兆。
• 触发词：有些模型需要在提示词中包含这些词语，才会生成对应风格的图片，记得复制粘贴到你的提示词中就行了。

在ComfyUI中使用LoRA模型

加载LoRA模型

我们先来看下如何加载LoRA模型，请看下图：

1、首先我们需要加载一个SD基础模型，通过“Checkpoint加载器”，这块之前介绍过了，就不多说了。

2、然后我们需要添加一个“LoRA加载器”的节点：

点击其中的“LoRA名称”可以选择一个“LoRA模型”。模型的位置默认是 ComfyUI/models/loras。如果你在 extra_model_paths.yaml 中更改了这个位置，请把模型放到更改后的目录中。

模型强度和CLIP强度都是用来控制LoRA模型对图片风格的影响力的，值越大生成的图片越贴近LoRA风格，但也有过拟合的风险，也就是生成出来的都是一个样子，缺少变化，或者不遵守提示词的描述。

但是也要注意到它们影响的方面不同，clip强度影响的是模型对提示词的理解，较高的clip会让生成结果更准确；模型强度则直接影响LoRA风格能否被应用到生成图像中。

使用不同的LoRA模型时，它们的推荐值也是不同的，一般可以在LoRA模型的下载页面上获取到作者的建议值，比如下图中的这个LoRA说明：

注意在 Stable Diffusion WebUI中，这两个参数是合并到一起的，所以很多模型作者都会只给出一个值。大家可以使用这个值作为起始值，然后根据生成效果进行调整。

还要注意，LoRA模型的算法版本要和SD基础模型匹配，要么都是SD1.5，要么都是SDXL，不能混用。

3、最后我们需要把LoRA模型连接到SD基础模型上，这里有两条连接线：

• 连接线1：将模型连接到模型。LoRA模型是在SD基础模型上训练出来的，它会更改SD基础模型中的部分参数，所以我们需要把它连接到SD基础模型。
• 连接线2：将CLIP连接到CLIP。CLIP是模型中的文本编码器，我们知道SD生成图片时需要提示词，但是模型并不能直接理解文本字符，模型是通过大量的向量计算（向量就是有方向的数字，比如加速度这种）得出的结果，所以生成图片前，需要先把提示词转换成向量，CLIP就是干这件事的。LoRA模型同样会更改SD基础模型中的CLIP，所以我们要做这个连接。

输出LoRA模型的控制能力

SD基础模型经过LoRA模型的叠加后，就可以继续送往后续的节点了。

连接线1：将模型和采样器连接。采样的时候必须有模型的参与，因为要使用LoRA模型，所以这里的模型来源就是LoRA加载器了。

连接线2：将CLIP和提示词连接。上边已经说过CLIP是用来编码提示词的，不管是“正向提示词”还是“负向提示词”都要连接到它。

连接线2中间还串联了一个“CLIP设置停止层”，这个是可选的节点。怎么理解这个停止层呢？模型训练的时候，会学习到很多训练素材的特征，这些学习到的特征是分层的，越往后的层学习到的特征越细致，比如第一层学到一个人，第二层学到男人或女人，第三层学到长头发还是短头发，以此类推，会有很多层。

CLIP使用的层数越高，输出的结果更加稳定，但也有过拟合的风险，也就是生成的结果和训练数据过于相像，而我们可能不需要那么多细节的还原，设置clip停止层可以缓解此类问题，这个值一般设置为: -2。

最后给大家看下完整的工作流：

资源下载

为了方便大家入门，我也整理了一批工作流，包括基本的文生图、图生图、ControlNet的使用、视频的处理等等，发消息“工作流”到公众号“萤火遛AI”，即可领取。

---

以上就是本文的主要内容，如有问题，欢迎留言。

用好 ComfyUI：

• 首先需要对 Stable Diffusion 的基本概念有清晰的理解，熟悉 ComfyUI 的基本使用方式；
• 然后需要在实践过程中不断尝试、不断加深理解，逐步掌握各类节点的能力和使用方法，提升综合运用各类节点进行创作的能力。

如何系统的去学习大模型LLM ？

作为一名热心肠的互联网老兵，我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。

但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的 AI大模型资料 包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

声明：本文内容由网友自发贡献，转载请注明出处：【wpsshop】