AI绘画专栏之Stablediffusion SD/SDXL Comfyui Stableforge全网第一套系统的AI绘画课_puffy-nipples

【选题思路】

随着深度学习和计算机视觉的进步，AI绘画逐渐成为了可能。通过大量的数据训练和复杂的算法模型，AI可以学习艺术家的绘画风格，并生成以假乱真的艺术作品。这种技术的突破，使得AI能够模仿各种绘画风格，从古典到现代，从印象派到抽象艺术，尽显无限创造力。

本期我们以AI绘画开源作品Stablediffusion为例进行讲解，简称SD，但是SD目前最大的问题还是显存占用问题，特别是个别视频插件，包括最近出的Stability videoAI，更是将显存占到了极致，再加上4090的禁售，这对硬件玩家很不友好,那么可以考虑将你的AI绘画应用部署到腾讯云，结合GPU服务器达到线上使用的效果，使用COS对象存储你的图片

# [分享内容直达](https://cloud.tencent.com/developer/article/2396114)

# [全套面试题已打包2024最全大厂面试题无需C币点我下载或者在网页打开](https://pan.quark.cn/s/865a0bbd5720)

### [AI绘画关于SD,MJ,GPT,SDXL百科全书](https://yv4kfv1n3j.feishu.cn/docx/MRyxdaqz8ow5RjxyL1ucrvOYnnH)

### [2024Python面试题](https://pan.quark.cn/s/44c5c32a6776)

### [2024最新面试合集链接](https://pan.quark.cn/s/3f87b884cfb4)

### [2024大厂面试题PDF](https://pan.quark.cn/s/6ce0b0b0207c)

### [面试题PDF版本](https://pan.xunlei.com/s/VN_qC7kwpKFgKLto4KgP4Do_A1?pwd=7kbv#)

### [java、python面试题](https://drive.uc.cn/s/2aeb6c2dcedd4)

### [项目实战:AI文本 OCR识别最佳实践](https://cloud.tencent.com/developer/article/2304343)

### [AI Gamma一键生成PPT工具直达链接](https://gamma.app/signup?r=sqgovd3iif5btr4)

### [玩转cloud Studio 在线编码神器](https://cloud.tencent.com/developer/article/2272077?areaSource=&traceId=)

### [玩转 GPU AI绘画、AI讲话、翻译,GPU点亮AI想象空间](https://cloud.tencent.com/developer/article/2291530?shareByChannel=link)

### [史上最全文档AI绘画stablediffusion资料分享](https://zkk-1300025204.cos.ap-nanjing.myqcloud.com/%E5%8F%B2%E4%B8%8A%E6%9C%80%E5%85%A8StableDiffusion%E8%B5%84%E6%96%99%E5%8C%85.csv)

### [AI绘画 stable diffusion Midjourney 官方GPT文档 AIGC百科全书资料收集](https://blog.csdn.net/weixin_42373241/article/details/132341577?spm=1001.2014.3001.5501)

### [AIGC资料包](https://drive.uc.cn/s/6077fc42116d4)
 

AI绘画50篇合集专栏请点击AI绘画的全部内容 - 阅读清单 - 腾讯云开发者社区-腾讯云 (tencent.com)

领取百川大模型2400万token【玩转向量数据库】限量 LLM 百川大模型限时Baichuan2400万免费tokens! 送向量数据库免费实例-腾讯云开发者社区-腾讯云 (tencent.com)

【写作提纲】

1.AI绘画三件套

2.AI绘画生成原理

3.AI绘画提示词

4.AI绘画提示词步数与CFG之间的关系

5.腾讯云AI绘画平台

6.AI绘画行业案例

7.AI绘画设计案例

8.总结

AI绘画三件套

以Stable diffusion为例

稳定扩散（Stable Diffusion）是一种用于图像生成的人工智能模型，它基于扩散过程。扩散过程是指，将一个图像经过多次迭代，逐渐变得模糊、扩散的过程。在这个过程中，图像的细节信息会逐渐消失，只保留下整体的结构信息。稳定扩散这个名字来源于这个过程的稳定性，即在扩散过程中，模型能够学习到图像的稳定特征，从而生成具有较高质量的图像。

稳定扩散模型通常使用生成对抗网络（GAN）进行训练。GAN 由两个部分组成：生成器和判别器。生成器负责生成图像，判别器负责判断图像是真实图像还是生成的图像。在训练过程中，生成器和判别器互相对抗，生成器试图生成更真实的图像以欺骗判别器，判别器则试图识别出真实图像和生成图像。通过不断的迭代训练，生成器能够提高生成图像的质量。

U-Net 是一种特殊的生成对抗网络结构，它主要用于图像生成任务。U-Net 的结构呈“U”形，它将生成器和判别器都拆分成两个部分，分别位于“U”形的两端。其中，一端的生成器负责生成低分辨率的图像，另一端的生成器负责生成高分辨率的图像。判别器也同样分为两部分，分别对应低分辨率和高分辨率的生成器。 U-Net 之所以有效，是因为它采用了一种称为“跳跃连接”的技术。跳跃连接允许低分辨率生成器直接获取高分辨率生成器的输出，从而帮助低分辨率生成器更好地学习到高分辨率图像的细节信息。通过这种方式，U-Net 能够生成高质量、高分辨率的图像。

AI绘画生成原理

当我们想要构建一副脑海中的画面，我们先构思画面来书写提示词，下面我们会专门介绍关于提示词部分的书写，然后由模型解析文本，反推汉字或者文本到Clip学习，接着由U-Net端到端的生成图片，然后由VAE来上色，那么一个简单的绘画流程就完成了，这个图片由噪点逐步变为清晰的过程，我们称之为扩散。

其中clip一共有12层2表示在倒数第二层停止处理，通常不能超过6当参考层的深度浅且在这个阶段就被跳过时，传递的信息量也会减少，最终以不准确的信息噪声影响生成的图像，以认为Clip Skip和CFG Scale之间没有相互作用，它们是完全不同的东西

当向平静的湖面扔了一个小石子，水波纹向周边扩散最终恢复平静的过程，我们称之为稳定扩散，在图像生图原理中扩散过程是指，将一个图像经过多次迭代，逐渐变得模糊、扩散的过程。在这个过程中，图像的细节信息会逐渐消失，只保留下整体的结构信息。稳定扩散这个名字来源于这个过程的稳定性

AI绘画提示词

文生图：根据文本提示生成图像

图生图：根据提供的图像作为范本、结合文本提示生成图像

提示词由主题人物，元素，背景，灯光，等多个维度构成，提示词对于prompt属于小维度，在prompt维度包含文本对话提示词，AI绘画提示词等等，但遵循原则是统一标准，大部分的画面或者效果是可以通过提示词实现的

提示词不能包含换行符（非绝对）！！！！逗号分割除外

提示词语法

() 强调更多，[] 强调较少，{} 是 NAI 对 () 的“实现”，<> 用于嵌入，小数指定 (1:1.5) 的数量

(eye) 在最终结果中会比 [eye] 有更多的权重，(eye:1.4) 会比正常情况多增加约 40%，(eye:0.6) 会减少约 40 % 这也可以对某个地方增加画面的权重

([提示]:[数字小于 1]) = [使用此语法] 2 of {} = 1 of ()，准确率 <1%

通常的AI绘画都要依靠于硬件，对于显卡的要求显存，内存都有相当高的要求，以Stablediffusion为例，基础部署流程同云服务器部署步骤一样显卡建议N卡即英伟达的显卡，显存建议12G以上，固态建议2T，与主板兼容读写速度更佳

1.显卡配置要求为N卡优先，适配程度高，CPU与主板要求不高，但需要跟显卡适配，运行过程温度较高，所以散热需要跟上，需要ATX3.0电源或者850W以上（针对90系列显卡），可以物理降温，空调拉倒最低

本地部署步骤，下面有一键安装包无需任何操作，不需要准备任何环境，但基础环境需要自己准备，方便后续使用

优先有N卡的来，1060/ti也能玩，A卡能玩吗？苹果！！！也能玩，但是A卡的教程少，显存不够的也劝退，总之AI有风险，N卡在咆哮。

2.论文和资料极其多，丧心病狂的多

3.苹果电脑需要系统在12.1+但是建议大家N卡

4.笔记本也可以，所有的N卡在低配环境下可以使用CPU跑图，但是建议大家N卡(算了手动滑稽)

AI绘画提示词步数与CFG之间的关系

• 低 CFG：图片糊、看起来雾蒙蒙的，色彩对比弱，构图也比较差，总之，图片结构未定型
• 高 CFG：图片对比度非常强，色彩非常饱和，甚至会过饱和，颜色和结构失调，正常情况下不会超过6，实际测试超过6虽然也会出现正常图片，但不建议超过2

但现在不需要显卡的AI绘画他来了~~~腾讯云AI绘画特惠活动 (tencent.com)

N多绘画风格可选

分为需要API版本可自定义接入AI绘画_AI作画_AI图像创作-腾讯云 (tencent.com)

点击产品控制台

点击接口文档---->点击调试

分为参数区和代码区

选择离自己近的大区，并填写正向反向提示词

点击小星星可以跳转到参数说明

填入自己想要的风格我选择赛博朋克风格113，其他参数如果不清晰可以不填写

成功响应后会返回图片的base64内容握们需要二次解析，代码方面进行接口解析即可，可以改变Rsp的类型为URL，即可返回图片URL

import base64
import requests
def png_to_base64(file_path):
    with open(file_path, "rb") as image_file:
        encoded_string = base64.b64encode(image_file.read())
        return encoded_string
# 图像Base64信息
image_base64 =png_to_base64(r'')
 
# API端点URL
url = "png-info"
 
# 构造请求参数
payload = {
  "image": image_base64
}
 
# 发送POST请求
response = requests.post(url, json=payload)
 
# 打印请求响应
print(response.text)

复制

分为在线体验的两个版本腾讯云智能图像创作平台 (tencent.com)

只需要输入简单的正向反向提示词即可实现自己想要的画面，选择合适的风格，我们这里选择插图风格

图生图的风格迁移

这里以我的头像参考

不输入任何提示词便可以转换为日系动漫风格

腾讯云智能图像创作平台

提示词：

一位睿智的老人，穿着中国传统服装，表情庄重，凝视远方，（最佳质量，4k，8k，杰作：1.2），超精细，（逼真，写实，写真：1.37），雾山景观，寺庙建筑，戏剧性的天空，生动的色彩，金色的阳光，（概念艺术，历史插图，史诗艺术），忧郁的心情

AI绘画行业案例

目前已知的在实际生活中能够收到AI绘画影响最深的几个行业

1.AI原画师

2.广告与设计

3.游戏原画师/设计师

4.室内设计与建筑行业

5.创意设计Logo设计

6.AI漫画小说视频等等

目前在实际生活中的朋友真真确确的感受到了AI绘画对行业职业的冲击，这并非是替代性的，因为AI绘画始终无法一次性满足客户的要求，特比是商用涉及大量的版权，字体，侵权等问题，就拿前段时间爆火的AI绘画侵权案判责来说，AI绘画还存在一定的隐患，但是AI绘画始终是工具，是提升生产力，提升工作效率的工具

1.AI原画师：大量的比赛和原画师已经开始接受有AI创作，个人二创修改的形式，也不乏有人是抵制排斥AI绘画的，但是据我所知的一些中大型公司利用AI绘画做出对应的产品，让原画师使用AI绘画，甚至制作视频，是确确实实的提升了效率的

2.广告与设计：AI绘画在广告设计方面可达到真实场景的海报制作，插画，儿童画，平涂，厚涂，简笔画，小人书等等，

3.游戏原画师/设计师：在游戏行业通过对角色的定位，打造一定的新角色，游戏道具，游戏动作，游戏封面等等

4.室内设计与建筑行业：这个很是常见了，大量的室内设计分类案例，俯视图，原线稿实现真实场景，毛坯房装修的各个风格，甚至可以1秒生成

5.创意设计Logo设计：将客户的Logo进行二次创作，上色，实现创意填充，甚至凭空捏造一个Logo这都是AI绘画可以实现的

6.AI漫画小说视频:由AI绘画产生动漫角色，然后搭配剪辑工具制作一部小说视频，这也是市场上大量的C端用户正在制作的使用的软件，且用户市场巨大，用户接受度比较高，播放和收益也很客观

新京报新闻

AI绘画设计案例

1.出图

Logo二创

工业风格/室内设计/室内饰品

创意字体 原子组件 字母light flow

太平

花瓣字体

金属姓氏

Logo

电商出图

官网图片

对比图片

全量测试结果(结果集较多)

美食篇

中秋主题

海报

模特动漫版本

模特真人

3D图标ICON

楼阁

(goden_full_moon:1.8), architecture, bj_ancient_city, bridge, building, castle, cloud, east_asian_architecture, full_moon, moon, night, no_humans, outdoors, pagoda, reflection, scenery, sky, stairs chinese_tower, lake, golden colored thhem, east, delayed photography, realistic scenery, paper carving, virtual engine 5, 
 
Nagetive：
EasyNegative, paintings, sketches, ugly, 3d, (worst quality:2), (low quali7:2), (normal quality:2), lowres, normal quality, 
((monochrome)), ((grayscale)), skin spots, acnes, skin blemishes, age spot, manboobs, backlight, (ugly:1.3), 
(duplicate:1.3), (morbid:1.2), (mutilated:1.2), (tranny:1.3), mutated hands, (poorly drawn hands:1.3), blurry, (bad anatomy:1.2), (bad proportions:1.3), extra limbs, (disfigured:1.3), (more han 2 nipples:1.3), (more than 1 navel:1.3), 
(missing arms:1.3), (extra legs:1.3), (fused fingers:1.6), (too many finges:1.6), (unclear eyes:1.3), bad hands, missing, 
fingers, extra digit, (futa:1.1), bad body, double navel, mutad arms, husearms, (puffy nipples, dark areolae, dark nipples, rei no himo, inverted nipples, long nipples), ng_deepnegative_v1_75t, pubic hair, fat rolls, obese, bad-picture, 
chill-75v, 

复制