【AI绘画--七夕篇】：七夕特别教程，使用SDXL绘制你的心上人（Stable Diffusion）（封神榜—妲己）_sdxl数据集

---

前言

七夕特别教程，快来使用SDXL画出一个女朋友吧！

0、介绍

0-0、结果展示

0-1、Stable Diffusion

Stable Diffusion是一种基于潜在扩散模型（Latent Diffusion Models，简称LDM）的模型，它最近在各个平台上都引起了广泛的关注，因为其在文本到图像（text2img）或图像到图像（img2img）的应用中都展示出了非常惊艳的效果。

• Stable Diffusion的整体框架包含训练和采样两个阶段。在训练阶段，使用AutoEncoderKL自编码器将图像从像素空间映射到潜在空间，学习图像的隐式表达。
• Stable Diffusion的重要组成模块包括DDPM、DDIM、PLMS算法等。这些算法都是用于模型的训练和生成过程。
• Stable Diffusion的另一个重要组成部分是变分自动编码器（Variational Autoencoder，简称VAE）。VAE是一种用于学习输入数据的低维隐式表达的神经网络，它可以用于生成新的数据样本，如图像或文本。

总的来说，Stable Diffusion是一种强大的模型，它可以生成高质量的图像，对于不同的任务有很好的适应性。例如，它可以用于将文本描述转化为对应的图像，也可以用于图像的风格转换等任务

以下为官网截图：

0-2、sdxl介绍

官方界面如下所示：

SDXL和之前的版本一样也是基于latent diffusion架构，对于latent diffusion，首先会采用一个autoencoder模型来图像压缩为latent，然后扩散模型用来生成latent，生成的latent可以通过autoencoder的decoder来重建出图像。SDXL整体模型结构如下图所示：

相比之前SD版本，Stable Diffusion XL是一个二阶段的级联扩散模型，包括Base模型和Refiner模型。其中Base模型的主要工作和Stable Diffusion一致，具备文生图，图生图，图像inpainting等能力。在Base模型之后，级联了Refiner模型，对Base模型生成的图像Latent特征进行精细化，其本质上是在做图生图的工作。
相比SD1.x和SD2.x，SDXL使用了更大的backbone，下图展示了三者结构和参数量上的对比，SDXL的参数量大约为之前版本的SD的3倍

总之一句话： 相比于之前发布的各种版本的Stable Diffusion，sdxl更大、更强！

一、云端部署Stable Diffusion

1-1、云端平台的优势

云端部署Stable Diffusion炼图成为解决方案。相较于本地炼模型，云端部署Stable Diffusion炼图有诸多优势：

• 国内访问无障碍
  云端平台可以提供国内访问无障碍的环境，让你无需担心访问限制的问题。

• 不需要自己买显卡
  可使用云端的3090、A100显卡，云端平台提供多种显卡供你选择，包括强大的3090和A100显卡，让你不再为显卡的配置而烦恼。

• Stable Diffusion一键部署
  云服务中自带部分底模/LoRA，云端平台已经为你准备好了Stable Diffusion一键部署的环境，你可以直接使用，而且平台中自带一些底模和LoRA，省去了自己上传的麻烦。

• 价格低廉，支持多人使用
  云端部署Stable Diffusion的价格相对较低，而且服务开启后，可以在任意电脑远程操作画图，支持多人使用。

在使用云端平台训练绘画模型之前，用户需要根据自己的需求选择合适的平台。我们需要考虑计算资源、支持的框架、费用与预算等等因素，今天带大家使用最低的成本体验一下云端炼图，以在揽睿星舟-GPU算力平台为例。：

二、平台介绍

基于隐私安全计算的揽睿星舟AI服务平台旨在提供人工智能发展中的数据全价值周期中的AI生态系统，为AI中小企业发展提供了降本增效的新解法。平台整合多方资源，撮合和对接各类AI供需，赋能长尾AI应用场景。实现包括市场需求、场景对接、技术协作、数据共享等方面真正意义上的人工智能开放生态。除此之外，揽睿星舟引入众多第三方合作伙伴提供各类AI工具，将需求、供应、数据、算力等资源汇聚在一起，实现自助式AI供需对接，促成AI提供方和AI需求方互补合作，形成双赢局面。而对于开发者而言，揽睿星舟则具备提供丰富的GPU卡、开箱即用的开发环境、大容量、高可用的分布式文件系统、开放的镜像生态等平台优势，极大提高开发迭代速度并降低了运维成本。

此前，揽睿星舟平台上已有多家AIGC企业入驻，并通过平台能力实现了快速开发与变现：

• 性能提升——为企业提供百卡级别RDMA训练，百卡级别3090推理，揽睿星舟团队帮助进行算子优化

• 成本降低——将已经训练好的模型，通过平台高效的弹性推理服务进行变现并控制成本

• 技术创新——结合开源的Stable Diffusion进行二次创作

三、注册账号并且开始炼制

3-1、购买算力并创建工作空间

新用户在这个GPU算力平台上将获得两个小时的免费使用时间，可以选择强大的3090型号的显卡进行训练。这款显卡性能卓越，能够极大地加速模型的训练过程，让你在有限时间内获得更好的结果。

在开始训练前，

• 你可以从平台提供的丰富镜像库中选择公有镜像-others-sd-trainer-1.1.0
• 此外，除了显卡的选择和镜像的设定，其他设置都是默认的，这样你就不需要过多担心配置的问题，可以专注于模型的训练和优化。

3-2、启动工作空间

点击启动你的训练任务，稍等几分钟，你就能轻松地进入训练环境。这个过程非常简单，只需要几个简单的步骤，你就可以开始你的AI之旅：

• 如果在启动过程中遇到网络问题，不要着急，你可以先尝试调试网络连接，然后选择重新启动。不用担心，这个过程不会对你的费用造成任何损失。平台会为你提供免费的重新启动机会，确保你能够顺利开始你的训练任务。
• 在进入训练环境后，你可以根据个人习惯和喜好选择适合自己的集成开发环境（IDE）。在这里，我选择使用VS Code，因为它是一款强大而灵活的IDE，拥有丰富的插件和扩展功能，可以满足各种编程需求。
  
  

3-3、应用市场一键安装

除了上述方法，也可以选择在应用市场一键安装，这样大大省去了自行搭建的步骤：

• 在我的应用里点击Stable-Diffusion
• 选择新建实例
• 选择web3.0，这里默认使用3090，为1.9/h，点击创建实例。（当前有活动，1.46/h，这还不冲？）
• 点击地址，即可进行体验。
  

3-4、使用Stable-Diffusion作图

打开网址后的界面如下：我们可以看到左上角有许多可供选择的模型

四、有女朋友的——使用sdxl来进行图生图教程（以封神榜妲己为例）

4-1、操作流程

步骤1：依据上边步骤3-1购买完算力之后，选择配置页面参数配置。根据下图完成配置之后选择创建实例（七夕算力特价！）
参数：

运行环境镜像： 公有镜像-others-sd-webui-3.0-V2
数据集： sd-base
预训练模型： sdxl-models

步骤二： 创建完成后等待几分钟让云端系统启动，选择VS Code启动


步骤三：选择Terminal——New Terminal，之后下方出现命令栏，命令窗口输入命令

bash /app/start.sh --skip-prepare-environment
1

步骤四：等待加载完毕后，我们到工作空间，选择“更多—复制调试地址”，在浏览器粘贴地址，进入到sd的主界面

4-2、以封神榜妲己为例

原图如下图所示：

步骤一：左上角模型选择sdxl_base,选择图生图模式，上传原图。

步骤二：设置参数

模型选择：sdxl_base
步数：20（看个人的机器配置，配置好的情况下可以加大采样步数）
宽度&高度: 10241024 （sdxl的训练数据为这个尺寸，最好选择10241024）
采样器：Euler 2 （采样器可以多多去尝试）
CFG：7

步骤三：有关于重绘强度，下图是重绘强度从0.1到0.6分别的图片展示。由图可知，重绘比例较小时，只有脸部发生细微变化，姿势基本维持原状，但是随着重绘强度的增大。脸部、衣服会慢慢发生变化，当重绘强度达到0.6时，姿势已经开始发生变化。 可以去试着调大一下重绘强度来生成完全不一样的妲己噢！

五、没有女朋友的——使用sdxl来生成一个女朋友

正向Prompt：图片的描述内容

realistic, photorealistic, masterpiece, best quality, dark shot, (photo of portrait:1.2), cowbody shot,1girl, solo, smile, looking at viewer, long black hair, ([:see-through:4]:1.2) (colorful:1.2) cns_dress, (floral print:1.2), standing by a river, dynamic pose, (shanghai:1.2), water, colorful cloud, incredible beautiful sky, netural lighting, dynamic Angle, neon, bokeh, Chiaroscuro,

反向Prompt：不希望图片中出现的内容

(deformed iris, deformed pupils, semi-realistic, cgi, 3d, render, sketch, cartoon, drawing, anime:1.4), text, cropped, out of frame, (worst quality, low quality:2), jpeg artifacts, ugly, duplicate, morbid, mutilated, extra fingers, mutated hands, poorly drawn hands, poorly drawn face, mutation, deformed, blurry, dehydrated, bad anatomy, bad proportions, extra limbs, cloned face, disfigured, gross proportions, malformed limbs, missing arms, missing legs, extra arms, extra legs, fused fingers, too many fingers, long neck,
(tree,wood:1.2), (stone:1.2), (green,black,white:1.4), (sandals:1.4),

参数：

模型选择：选择sd_xl_base
步数：28， 数值越大质量越好，但是同样的时间也越长。
宽度&高度: 1024*1024
采样器：DPM2，推荐选择 Euler a 或 DPM++ 系列，采样速度快，效果不一定好噢，要多次进行尝试。
CFG：7， 提示词的相关性，数值越大越相关，一般设置7—10之间。

其他参数

面部修复：脸部、手部最容易发生一些鬼畜，点击面部修复可以帮助修复脸部
高清修复：高清修复，增大图片像素。
生成批次： 图片生成的数量（这个值注意不要设置太大噢，容易崩掉卡住，设置为10-30之间，看个人机器配置）

五、结尾彩蛋

总结：折腾的时间比我想象的长，但比起自己部署整个环境，云端训练的优势还是显而易见的。如果你想练练手，不妨可以试试先薅个2小时羊毛注册链接，最近七夕还有优惠活动，大家快去试试吧！

                       		
声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/我家自动化/article/detail/426437?site