ComfyUI 完全入门：使用LoRA模型_comfyui lora

本文继续给大家分享ComfyUI的入门必备技能：使用LoRA模型。

LoRA模型是一种微调模型，它不能独立生成图片，常常用作大模型的补充，用来生成某种特定主体或者风格的图片，比如插画风格、机械战衣、粘土风格等等。

ComfyUI介绍

很多同学对ComfyUI可能还不太了解，我这里做一个简单的介绍。

在AI绘画领域，Stable Diffusion 因其开源特性而受到广泛的关注和支持，背后聚拢了一大批的应用开发者和艺术创作者，是AI绘画领域当之无愧的王者。

目前使用 Stable Diffusion 进行创作的工具主要有两个：Stable Diffusion WebUI 和 ComfyUI。

Stable Diffusion WebUI 开箱即用，各项功能齐全，社区也有很多的插件支持，入门比较简单，适合新手，但是可定制性稍微差点，很多作品不容易传播复现，使用API进行操作也有一定的难度。

ComfyUI 出来的晚一点，但是它的可定制性很强，可以让创作者搞出各种新奇的玩意，通过工作流的方式，也可以实现更高的自动化水平，创作方法更容易传播复现，发展势头特别迅猛。但是 ComyUI 的上手门槛有点高，对 Stable Diffusion 以及各种扩展能力的原理需要有一定的理解，动手能力要求也比较高。

为了方便大家尽快上手ComfyUI，本系列文章将会介绍一些 ComfyUI 的概念和使用方法，让大家更快的掌握 ComfyUI 的使用技巧，创作出自己独特的艺术作品。

ComfyUI 安装部署

本地安装部署

本地部署需要特殊网络设置、8G显存以上的Nvidia显卡、一定的电脑动手能力，如果你满足这三个条件，请看我这篇文章：ComfyUI 完全入门：安装部署 - 掘金 (juejin.cn)

使用云端服务器

这里给大家推荐两个我经常使用的：

• 京东云：最近京东大举进入AIGC领域，不仅价格低到每小时1毛8，更有免费代金券可以领取，机不可失。领取代金券，请发消息 “京东云” 到公众号 “萤火遛AI”。
• AutoDL：AutoDL出来的比较早，价格也很公道，相比阿里云、腾讯云，简直实惠的不得了，而且AutoDL有多种显卡型号可供选择。

我在这两个云平台都发布了ComfyUI的镜像，内置了常用的工作流，大家可以一键启动，直接使用，不用费劲吧啦的各种安装调测。两个云服务器的使用方法请看这里的介绍：

白嫖京东云，部署ComfyUI，生成140张粘土风图片 - 掘金 (juejin.cn)

如有问题，欢迎留言交流。

使用LoRA模型

下载LoRA模型

在模型下载网站，如果模型是LoRA模型，网站会特别标识出来。以 liblib.art 为例：

模型左上角会有一个模型类型的标记，CHECKPOINT 代表大模型，LORA 代表这是一个LoRA模型。

另外LoRA模型也区分SD1.5和SDXL，不能混用，这个信息可以在模型的详细页面看到：

另外我们还可以在页面上看到两个关键的信息：

• 下载：点击下载到本地。LoRA模型文件一般比基础模型要小很多，只有几十、几百兆。
• 触发词：有些模型需要在提示词中包含这些词语，才会生成对应风格的图片，记得复制粘贴到你的提示词中就行了。

在ComfyUI中使用LoRA模型

加载LoRA模型

我们先来看下如何加载LoRA模型，请看下图：

1、首先我们需要加载一个SD基础模型，通过“Checkpoint加载器”，这块之前介绍过了，就不多说了。

2、然后我们需要添加一个“LoRA加载器”的节点：

点击其中的“LoRA名称”可以选择一个“LoRA模型”。模型的位置默认是 ComfyUI/models/loras。如果你在 extra_model_paths.yaml 中更改了这个位置，请把模型放到更改后的目录中。

模型强度和CLIP强度都是用来控制LoRA模型对图片风格的影响力的，值越大生成的图片越贴近LoRA风格，但也有过拟合的风险，也就是生成出来的都是一个样子，缺少变化，或者不遵守提示词的描述。

但是也要注意到它们影响的方面不同，clip强度影响的是模型对提示词的理解，较高的clip会让生成结果更准确；模型强度则直接影响LoRA风格能否被应用到生成图像中。

使用不同的LoRA模型时，它们的推荐值也是不同的，一般可以在LoRA模型的下载页面上获取到作者的建议值，比如下图中的这个LoRA说明：

注意在 Stable Diffusion WebUI中，这两个参数是合并到一起的，所以很多模型作者都会只给出一个值。大家可以使用这个值作为起始值，然后根据生成效果进行调整。

还要注意，LoRA模型的算法版本要和SD基础模型匹配，要么都是SD1.5，要么都是SDXL，不能混用。

3、最后我们需要把LoRA模型连接到SD基础模型上，这里有两条连接线：

• 连接线1：将模型连接到模型。LoRA模型是在SD基础模型上训练出来的，它会更改SD基础模型中的部分参数，所以我们需要把它连接到SD基础模型。
• 连接线2：将CLIP连接到CLIP。CLIP是模型中的文本编码器，我们知道SD生成图片时需要提示词，但是模型并不能直接理解文本字符，模型是通过大量的向量计算（向量就是有方向的数字，比如加速度这种）得出的结果，所以生成图片前，需要先把提示词转换成向量，CLIP就是干这件事的。LoRA模型同样会更改SD基础模型中的CLIP，所以我们要做这个连接。

输出LoRA模型的控制能力

SD基础模型经过LoRA模型的叠加后，就可以继续送往后续的节点了。

连接线1：将模型和采样器连接。采样的时候必须有模型的参与，因为要使用LoRA模型，所以这里的模型来源就是LoRA加载器了。

连接线2：将CLIP和提示词连接。上边已经说过CLIP是用来编码提示词的，不管是“正向提示词”还是“负向提示词”都要连接到它。

连接线2中间还串联了一个“CLIP设置停止层”，这个是可选的节点。怎么理解这个停止层呢？模型训练的时候，会学习到很多训练素材的特征，这些学习到的特征是分层的，越往后的层学习到的特征越细致，比如第一层学到一个人，第二层学到男人或女人，第三层学到长头发还是短头发，以此类推，会有很多层。

CLIP使用的层数越高，输出的结果更加稳定，但也有过拟合的风险，也就是生成的结果和训练数据过于相像，而我们可能不需要那么多细节的还原，设置clip停止层可以缓解此类问题，这个值一般设置为: -2。

最后给大家看下完整的工作流：

资源下载

为了方便大家入门，我也整理了一批工作流，包括基本的文生图、图生图、ControlNet的使用、视频的处理等等，发消息“工作流”到公众号“萤火遛AI”，即可领取。

另外我创建了一个AI绘画专栏。加入专栏，可以零门槛，全面系统的学习 Stable Diffusion 创作，让灵感轻松落地！如有需要请点击链接进入：xiaobot.net/post/033402…

---

以上就是本文的主要内容，如有问题，欢迎留言。

用好 ComfyUI：

• 首先需要对 Stable Diffusion 的基本概念有清晰的理解，熟悉 ComfyUI 的基本使用方式；
• 然后需要在实践过程中不断尝试、不断加深理解，逐步掌握各类节点的能力和使用方法，提升综合运用各类节点进行创作的能力。

我将在后续文章中持续输出 ComfyUI 的相关知识和热门作品的工作流，帮助大家更快的掌握 Stable Diffusion，创作出满足自己需求的高质量作品，感兴趣的同学请及时关注。

那么，我们该如何学习大模型？

作为一名热心肠的互联网老兵，我决定把宝贵的AI知识分享给大家。 至于能学习到多少就看你的学习毅力和能力了 。我已将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

一、大模型全套的学习路线

学习大型人工智能模型，如GPT-3、BERT或任何其他先进的神经网络模型，需要系统的方法和持续的努力。既然要系统的学习大模型，那么学习路线是必不可少的，下面的这份路线能帮助你快速梳理知识，形成自己的体系。

L1级别:AI大模型时代的华丽登场

L2级别：AI大模型API应用开发工程

L3级别：大模型应用架构进阶实践

L4级别：大模型微调与私有化部署

一般掌握到第四个级别，市场上大多数岗位都是可以胜任，但要还不是天花板，天花板级别要求更加严格，对于算法和实战是非常苛刻的。建议普通人掌握到L4级别即可。

以上的AI大模型学习路线，不知道为什么发出来就有点糊，高清版可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

二、640套AI大模型报告合集

这套包含640份报告的合集，涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。

三、大模型经典PDF籍

随着人工智能技术的飞速发展，AI大模型已经成为了当今科技领域的一大热点。这些大型预训练模型，如GPT-3、BERT、XLNet等，以其强大的语言理解和生成能力，正在改变我们对人工智能的认识。 那以下这些PDF籍就是非常不错的学习资源。

四、AI大模型商业化落地方案

作为普通人，入局大模型时代需要持续学习和实践，不断提高自己的技能和认知水平，同时也需要有责任感和伦理意识，为人工智能的健康发展贡献力量。