小舞很执着

这个屌丝很懒，什么也没留下！

热门标签

【comfyui】40个工作流一次让你彻底掌握SD controlNet的使用场景(1)-线性处理器_comfyui controlnet

作者：小舞很执着 | 2024-08-02 21:08:34

踩

comfyui controlnet

长文预警，建议收藏/点赞再阅读。

Stable Diffusion 的 ControlNet 是一个控制预训练图像扩散模型的神经网络。它允许输入调节图像，然后使用该调节图像来操控图像生成。ControlNet 最近非常火，它和 Stable Diffusion 的结合使 Stable Diffusion 能够接受指导图像生成过程的条件输入，从而增强了 Stable Diffusion 的性能。使用 ControlNet 可以固定构图、定义姿势、描绘轮廓等，单凭线稿就能生成一张丰满精致的插画。

本次我们要使用的是comfyui中人气非常高的一款插件，专门用来实现controlNet的操作。

插件地址：文末领取

也可以通过管理器安装，输入comfyui_controlnet_aux名称搜索。

看文档我们可以看到，作者对很多的controlNet处理器进行了整理，有我们熟悉的线稿，canny，软边缘， openpose等等。

下面截几个controlNet的例子工作流

第一部分深度处理器：

第二部分线性：

今天我们从线性处理器开始梳理，基于线性处理器，我这里也整理了一份从模型角度对应的预处理图，可以更好的找到模型对应的预处理。

线性处理器到目前为止有13个处理器，对应6个处理模型。

所有的controlNet预处理器都是需要接受一个图片作为参数，进行分析的。

所以我准备了一个专门的图片和提示词输入组，用于后面各个controlNet工作流的输入条件。当然我这里使用的是一张二次元的图片

canny硬边缘处理器

Canny 通过使用边缘检测器提取图像中的所有重要轮廓线。通过调节阈值，可以使线条捕捉到非常详细的信息，但也会因此让图像背景中固有的干扰信息影响你的目标物体，所以在必要时可通过设置边缘检测阈值达到过滤出特定边缘信息的目的。注意，对于一些细节丰富的训练图可能并不适合使用Canny提取边缘。

low_threshold,high_threshold这两个阈值，阈值范围0-255，

Canny 高低阈值参数作用是控制预处理时提取线稿的复杂程度，越低越复杂浓密。

线稿lineart处理器

Lineart 同样也是对图像边缘线稿的提取，但它的使用场景会更加细分，包括 Realistic 真实系和 Anime 动漫系 2 个方向。

将 lineart 和 lineart_anime2 种控图模型都放在「Lineart（线稿）」控制类型下，分别用于写实类和动漫类图像绘制

可以发现 3 种针对真实系图片使用的预处理器 coarse、realistic、standard 提取的线稿更为还原，在检测时会保留较多的边缘细节，因此控图效果会更加显著，而 anime、anime_denoise 这 2 种动漫类则相对比较随机。

其中coarse、realistic在同一个预处理中，disable和enable来控制是否使用coarse

对应的预处理器有以下三种：

Standard Lineart (from white bg&black line)

针对白底线稿处理

Standard Lineart (from white bg&black line)

线稿Realistic Lineart

Realistic Lineart 预处理器是一种用于生成写实物体线稿或素描的深度学习模型。它可以接收各种写实物体的线稿或素描，并生成相应的图像。我们通常用于处理像照片，人物摄影图等。

线稿Realistic Lineart

线稿Anime Lineart

Lineart_anime 是 Stable Diffusion ControlNet 中的一个预处理器模型，主要用于生成动漫风格的线稿。它可以接收各种写实物体的线稿或素描，并生成相应的图像。

线稿Manga Lineart

它擅长生成具有漫画风格的线稿效果。这种线稿通常具有独特的线条特征，简洁而富有表现力。使用它可以为图像添加漫画般的线条质感，为创作带来更多的可能性和创意发挥空间。

线稿Manga Lineart

直线边缘M-LSD Lines

MLSD 提取的都是画面中的直线边缘，在测试中可以看到 mlsd（M-LSD 直线线条检测）预处理后只会保留画面中的直线特征，而忽略曲线特征。

因此 MLSD 多用于提取物体的线型几何边界，最典型的就是几何建筑、室内设计、路桥设计等领域。

MLSD 预处理器同样也有自己的定制参数，分别是 score_threshold 强度阈值和 dist_threshold 长度阈值。MLSD 阈值控制的是 2 个不同方向的参数：强度和长度，它们的数值范围都是 0～20 之间。

score_threshold 强度阈值用于筛选线稿的直线强度，简单来说就是过滤掉其他没那么直的线条，只保留最直的线条。通过下面的图我们可以看到随着

score_threshold 阈值的增大，被过滤掉的线条也就越多，最终图像中的线稿逐渐减少。

dist_threshold (Distance) 长度阈值则用于筛选线条的长度，即过短的直线会被筛选掉。在画面中有些被识别到的短直线不仅对内容布局和分析没有太大帮助，还可能对最终画面造成干扰，通过长度阈值可以有效过滤掉它们。不过该参数对线稿密度的影响没有那么明显，在下图中可以看到感觉没什么变化

直线边缘M-LSD Lines

软边缘soft edge

Soft Edge 是一种比较特殊的边缘线稿提取方法，它的特点是可以提取带有渐变效果的边缘线条，由此生成的绘图结果画面看起来会更加柔和且过渡自然。

在 SoftEdge 中提供了 4 种不同的预处理器，分别是 HED、HEDSafe、PiDiNet 和 PiDiNetSafe。在官方介绍的性能对比中，模型稳定性排名为 PiDiNetSafe > HEDSafe > PiDiNet > HED，而最高结果质量排名 HED > PiDiNet > HEDSafe > PiDiNetSafe，综合考虑后 PiDiNet 被设置为默认预处理器，可以保证在大多数情况下都能表现良好。

其中HEDSafe,在HED Soft-Edge Lines预处理中的disable和enable来控制是否启用

PiDiNetSafe同理

软边缘 HED Soft-Edge Lines

它可以将输入的图像转换为具有柔和边缘的线稿风格。该预处理器通过对图像进行分析和处理，生成具有连续性和自然感的线条，使图像看起来更加生动和富有表现力。HED Soft-Edge Lines 适用于各种类型的图像，包括人物、风景、建筑等，可以为艺术家和设计师提供更多的创作灵感和可能性。

HED Soft-Edge Lines

软边缘 PiDiNet

该预处理器使用 PiDiNet 算法，可以帮助减小网络传输延迟和误差的影响，从而使得边缘检测结果更加准确和可靠。PiDiNet Soft-Edge Lines 产生的预处理器预览图和最终绘图结果在细节上比 HED 算法要多，但比 HED safe 算法少。

PiDiNet

软边缘TEEDPreprocessor

涂鸦

Scribble 中也提供了 2 种不同的预处理器可供选择，分别是 PiDiNet 和 XDoG。

通过测试我们可以看到不同 Scribble 预处理器的图像效果，由于 PiDiNet是神经网络算法，而 XDoG 是经典算法，因此前者检测得到的轮廓线更粗，更符合涂鸦的手绘效果。

fake scribble lines伪涂鸦，生成类似涂鸦效果的草图线条。

Binary 二进制就是把图像变成只有黑白两色（没有灰）

涂鸦Scribble Lines

它能够将图像转换为类似涂鸦般的线条效果，为作品增添一种独特的艺术风格和个性。这种预处理器可以让图像呈现出一种随性、自由的感觉，给人以新奇的视觉体验。

涂鸦Scribble XDOG Lines

能将图像转化为具有涂鸦质感和 XDOG 线条特征的线稿形式。这种线稿风格充满了创意和个性，呈现出一种独特的艺术魅力。它可以为图像带来别样的视觉效果，激发创作灵感，让作品更具艺术表现力。

涂鸦Fake Scribble Lines

能够生成类似涂鸦的虚假线稿效果，这些线稿看起来较为随意、杂乱，有一种独特的艺术韵味。

涂鸦Binary Lines

能将图像转换为只有黑白两种颜色的线条，呈现出一种简洁而有力的效果。这种线稿风格类似于二进制编码的表现形式，具有独特的科技感和现代感。

总结：1.硬边缘处理器的使用 2.4种线稿处理器的使用 3.直线边缘处理器的使用 4.3种软边缘处理器的使用 5.4种涂鸦处理器的使用

需要工作流的朋友可以添加下方领取哦

为了帮助大家更好地掌握 ComfyUI，我在去年花了几个月的时间，撰写并录制了一套ComfyUI的基础教程，共六篇。这套教程详细介绍了选择ComfyUI的理由、其优缺点、下载安装方法、模型与插件的安装、工作流节点和底层逻辑详解、遮罩修改重绘/Inpenting模块以及SDXL工作流手把手搭建。

这份完整版的资料我已经打包好，点击下方添加即可免费领取！