Stable Diffusion | AI协助室内设计神器，实现令人惊叹的视觉转换_seg 预处理器选哪个

作者：笔触狂放9 | 2024-07-19 12:36:58

踩

seg 预处理器选哪个

你是否已经厌倦了传统的室内设计方式，想探索新方法来增强作品设计感？本期小编就同大家分享一个新武器，用Stable Diffusion的ControlNet来打造一个室内设计全新工作流。无论你是经验丰富的室内设计师还是初学小白，都将使你的日常工作如虎添翼、告别爆肝，焕发出令甲方爸爸们赞叹的设计感。

在这里插入图片描述

01.介绍

ControlNet是一种通过添加额外条件来控制扩散模型的AI神经网络结构，它提供了一种增强稳定扩散的方法。在文本生成图像的过程中，使用诸如涂鸦、边缘映射、分割映射、pose关键点等条件输入，可使生成图像更接近输入图像，对比传统图像到图像的生成方式有大幅的改进。

这是一个专门检测直线线条的ControlNet模型，该模型常被用于提取物体的线型几何边界，最典型的就是几何建筑、室内设计、路桥设计等领域。基于MLSD模型的这一特征特性，**MLSD模型特别适用于在建筑、室内方向方面的线条处理和着色上，它能够很好的检测出输入图像中的直线线条，避开其它非直线线条预处理。**因为仅识别直线线条，忽略曲线线条，因此在一张包含人物的输入建设图，经过MLSD模型预处理就能够很好的避开输入图中的人物线条检测。

对初识Stable Diffusion的小伙伴们来说，看到ControlNet有这么多预处理器选项，一定很抓狂。

但没关系，为了方便大家使用，小编对每种预处理器的功能给出了简单的描述：

Canny 硬边缘： 黑色背景带有白色边缘的单色图像；
Depth 深度： 灰度图像，黑色代表深区域，白色代表浅区域；
Normal 常规： 法线图，表示物体的凹凸纹理，常用在3D模型的绘制上；
OpenPose 姿态： 生成角色动作姿态的骨架图；
MLSD 直线： 黑色背景上带有白色直线的单色图像；
Lineart 线稿： 黑色背景上带有白色线稿单色图像；
SoftEdge 软边缘： 黑色背景上带有白色软边缘的单色图像；
Scribble 涂鸦： 黑色背景上带有白色轮廓的手绘单色涂鸦图像；
Seg 语义分割：根据原图中不同素材以相应颜色进行区分的彩色图像；
Shuffle 随机洗牌： 通过使用随机流的方式来洗牌原图像，在控制稳定扩散的前提下重构出新图；
Tile 分块： 将原图分割为一块一块的小区域(Tile/瓦块)，然后分别对每个瓦块进行图生图放大，最后集合所有放大后的瓦块，拼成完整的大图;
Inpaint 局部重绘：用于蒙版部分重绘，能在统一整体效果的前提下，补全蒙版部分的内容;
IP2P 像素对像素指令：该模型会自动识别像素对应提示词与新输入提示词的关系，并选择性的向新提示词迁移；比如把图片的光照调暗，让白天变为夜晚，在正向提示词中加入（make it night:1.3）、（night:1.3）即可；
Reference 参考：根据给定的参考图，画同一张图，但是有一定的变化，常用来保持人物角色的一致性；
T2IA 自适应：提取图片色彩或边缘，用于风格迁移；

到这里小编感觉一定有很多小伙伴们要开始抱怨了，这么多的预处理器，用哪个啊。别担心，本篇中的演示只会运用到两种最具代表性的预处理器，MLSD（直线）和Seg（语义分割），选择它们两个，并按照小编的步骤，即便你只有一张随手拍摄的毛胚房照片，也能完成一副有高级既视感的室内装饰效果图。光看文字有点晦涩，让我们先来看下这两种预处理器的实际效果。

可以看到两种预处理器的处理方式完全不同，接下来就告诉大家具体的使用步骤。

02.使用

首先设置Stable Diffusion模型，模型风格有很多种，比如二次元、写实风、插画、中国风等，建筑类推荐采用以下四个写实类风格的常用模型：

○ anything-v4.5

○ realisticVisionV20

○ PrimeMix_V2.1

○ chilloutmix_NiPrunedFp32Fix；

接着我们设置采样迭代步数Steps，默认为20，视不同图片尺寸和Stable Diffusion模型而定，通常设置在15-40左右，小编用10、15、20、25四个参数做演示。

最后设置采样方法Sampler，从界面中可选择的采样方法类型有很多，不同的采样方法生成图片的过程各不相同，这里小编列举了四个常用的采样方法：Eulera、DPM++ 2S a Karras、DPM++ 2M Karras、DPM++ SDE Karras。

MLSD直线

案例展示

01. 去除人物，毛坯变精装

这里采用了一张带有人物的室内建筑图，能够从下面的预处理器看到：MLSD模型能够很好的避免人物，输出图像很好的还原了室内图中的直线部分，以及整个建筑的结构被很好的保留下来。

magnificent_architecture,room,building,sunshine,warm and cozy,(8k,RAW photo,best quality,masterpiece:1.2),realistic, photo-realistic,
1

ControlNet配置

输出效果

一种毛坯房立变精装房既视感。

02. 豪华房

(8k,RAW photo,best quality,masterpiece:1.2),realistic, photo-realistic,,living room,luxury,extravagant,spacious and bright,gold,italian style,
1

ControlNet配置

输出效果

这里很好的保持了房屋的整体结构，室内家具改变为黄金豪华房。

03. 写字楼

modern construction,office building,plaza,science and technology fashion,brightly lit,(8k,RAW photo,best quality,masterpiece:1.2),realistic,photo-realistic,