Stable Diffusion使用教程【InsCode Stable Diffusion美图活动一期】_inscode stable diffusion导入模型_stable diffusion如何添加模型

手把手教你入门绘图超强的AI绘画，用户只需要输入一段图片的文字描述，即可生成精美的绘画。给大家带来了全新保姆级教程资料包 （文末可获取）

记录一下如何使用 InsCode Stable Diffusion 进行 AI 绘图以及使用感受。

一、背景介绍

目前市面上比较权威，并能用于工作中的 AI 绘画软件其实就两款。一个叫 Midjourney（简称 MJ），另一个叫 Stable Diffusion（简称 SD）。MJ 需要付费使用，而 SD 开源免费，但是上手难度和学习成本略大，并且非常吃电脑配置（显卡、内存）。

和 MJ 相比，SD 最大的优势是开源，这意味着 Stable Diffusion 的潜力巨大、发展飞快。由于开源免费属性，SD 已经收获了大量活跃用户，开发者社群已经为此提供了大量免费高质量的外接预训练模型（fine-tune）和插件，并且在持续维护更新。在第三方插件和模型的加持下，SD 拥有比 Midjourney 更加丰富的个性化功能。

Stable Diffusion 简介

Stable Diffusion 是 2022 年发布的深度学习文本到图像生成模型，它主要用于根据文本的描述产生详细图像（即 txt2img 应用场景），尽管它也可以应用于其他任务，如内补绘制（inpainting）、外补绘制（outpainting），以及在提示词（英语）指导下产生图生图的翻译（img2img）。

模型原理

引用一张广为人知的 SD 原理图（源于论文https://arxiv.org/abs/2112.10752），该模型主要可以分为三个部分：

• 变分编码器（Vector Quantised Variational AutoEncoder，VQ-VAE）
• 扩散模型（Diffusion Model， DM），在生成图片中起着最重要的作用
• 条件控制器（Conditioning）

详细原理介绍可参考文章 Stable Diffusion 简介

用一句话总结 SD 的模型原理：图片通过 VAE 转换到低维空间，配合 Conditioning 的 DM 产生新的变量，再通过 VAE 将生成的变量转换为图片。

推荐电脑配置

Stable Diffusion 对电脑配置有一定的要求，比较推荐的配置如下：

操作系统：SD 更加适配于 windows。建议使用 windows10、windows11。

内存：8GB 以上，建议使用 16GB 或以上的内存。在内存比较小的情况下，可能需要调高虚拟内存，以容纳模型文件。

硬盘：40GB 以上的可用硬盘空间，建议准备 60GB 以上空间，最好是固态硬盘。

显卡：最低需要显存 2GB，建议显存不少于 4GB，推荐 8GB 以上。型号方面，因为需要用到 CUDA 加速，所以 N 卡支持良好。A 卡可以用，但速度明显慢于英伟达显卡，当然，如果你的电脑没有显卡也可以用 CPU 花几百倍时间生成。

下面是进行 512x 图片生成时主流显卡速度对比：