AIGC：AI绘画-Stable-Diffusion 简介及实践_perfect world v4 ai模型

文章目录

• • @[toc]
  • 前言
  • 一、安装AI模型软件stable-diffusion-webui
  • • 1.环境安装
    • 2.配置中文包
  • 二、配置算法模型
  • • 1.配置底模型
    • 2.LoRA的使用
    • • (1) 安装
      • (2) 使用
      • (3) 资源
    • 3.配置精准控图模型
    • • (1) 安装
      • (2) 使用
  • 三、Prompt的魔法
  • • 1.定向提升图画质量
  • 小结
  • 其他

前言

最近随着ChatGPT的爆火，AI绘画也火得不行，这几天文心一言发布会，图片生成的梗都快被大家玩坏了，网上有不少Midjourney的使用分享，但是毕竟那个是商用网站，收费的，博主今天给大家发个福利！出一波免费使用AI绘画的教程：Stable-Diffusion本地化部署及使用！手把手教你如何使用AI绘画！

一、安装AI模型软件stable-diffusion-webui

1.环境安装

首先我们需要安装AI模型软件stable-diffusion-webui，在安装前需要完成基础依赖环境的安装工作【注意本博客实验环境是Windows】：

• 安装cuda库

• 安装cudnn加速库

• 安装git-bash（区分64位和32位）

• 安装python3.10

完成上述基础环境依赖的安装后，我们下载stable-diffusion-webui：找一个空间较大的磁盘新建文件夹MyProgram(文件名最好是英文，命名随意，你也可以命名为其他的)，进去后，在空白的地方右键，点击git bash here：然后在命令行中输入：

git clone https://github.com/AUTOMATIC1111/stable-diffusion-webui.git

等待下载，下载完成以后，在MyProgram文件夹中会出现stable-diffusion-webui文件夹，进入该文件夹中，双击webui.bat文件，该文件会自动创建所需要的各种环境（时间可能会比较长），环境安装完成以后，在窗口上会出现一个如下图所示的链接：

复制该链接到浏览器中打开，则进入UI界面，如下所示：

我们可以看到，在这个界面上有txt2img（文字生成图片）, img2img（图片生成图片）等等。到这里为止， 我们已经可以快乐的玩耍了！自己去尝试生成属于自己的图吧！

2.配置中文包

如果你的英语还不错，就直接跳过这一步吧，如果你的英语和我一样稀烂，那么可以考虑设置一个中文包，具体步骤如下：

(1) 在界面上点击Extensions，点击取消localization，并如下图所示点击Load from

(2) 在出来的列表中找到 zh_CN Localization，然后点击后面的Install，等待安装完毕，点击下面所示的按钮：

(3) 点击 Apply and restart UI按钮，等待重启页面（不要关闭页面，等待即可）
(4) 重启完毕以后，按照如下顺序点击：

(5) 选择zh_CN后，点击上面的Apply settings按钮，再按照如下顺序点击：

等待重启结束后即可。

二、配置算法模型

1.配置底模型

stable diffusion提供了一系列的模型：

• stable-diffusion-v1-4 擅长绘制风景类画，整体偏欧美风，具有划时代意义
• stable-diffusion-v1-5 同上，但生成的作品更具艺术性
• stable-diffusion-2 图像生成质量大幅提升，原生支持768x768等
• waifu-diffusion 设定随机种子后，每次将生成相同的图像，无随机性，可方便复现

下载上述模型，将模型放到目录下，如果UI（前面所述的软件界面）是打开的，可按照如下顺序点击生效：

2.LoRA的使用

(1) 安装

LoRA是一个微调模型，可以对基础模型提供更好的支撑，从而生成我们想要的风格。一般来说，我们可以下载我们想要的LORA模型，然后将模型拷贝到目录下，按照前面所说的方式，再次应用重启即可。

(2) 使用

在打开的UI界面上，点击右侧的扩展网络，然后点击出现界面中的Lora按钮：那么我们就可以看到我们添加的LoRA模型，在输入提示词的时候，点击LoRA模型，则会添加LoRA对应的提示词，进而实现风格的转换。如下是一组示例（下面的是使用LoRA生成的图像），通过使用了中国风的LoRA模型，我们生成的画面更有特色。

(3) 资源

如果你想使用别人生成的LoRA模型，可以考虑在hugging face上进行搜索，除此之外，CIVITAI也是一个非常好的选择。我们大概整理了下面一些不同类型的LoRA模型，感兴趣的可以自行下载。

3.配置精准控图模型

(1) 安装

在UI界面中按照如下顺序先点击1和2，然后在3的位置输入地址，然后点击4，即可。安装完毕以后，按顺序点击已安装、应用并重启用户界面即可。

为了后面使用具体的应用， 我们需要下载一些ControlNet使用的模型，下面的链接是ControlNet的一些模型：地址，以人体姿态为例，我们下载模型，然后将下载的模型放在models/controlNet底下，然后应用并重启界面即可。

(2) 使用

在文生图界面按照如下顺序点击设置成人体姿态，中间空白处可以上传我们的目标姿态，我们生成的图将会根据这个目标姿态相似。

下面我们将展示怎么控制人物的姿态。以 a beautiful girl为提示词，不使用ControlNet生成的图如下（具体生成什么样的风格与你的底模型有关，也就是页面左上角Stable Diffusion模型处展示的模型）：

而当我们设置以前辈其他任务为模板时，可以生成如下图片：

同学们凑活着看看吧，动作和形态是一致的