Stable Diffusion 3 发布 吹爆 ｜ 更好的细节、多元素控图、生成文字_sd3开源了吗

Stability AI 在一夜之间更新了两项重大举措

一个是发布了新一代的 Stable Diffusion 3（SD3），一种文本到图像的模型。目前来看应该是最强大的文生图模型

另外一个则是 视频生成平台 Stable Video Diffusion（SVD）也正式开启了公测。它很可能是Sora 未来的强大竞争对手，目前和 Sora 比还是个弟弟

今个我们主要讲讲 SD3 的更新到底牛逼在哪

Stability AI 公布了 Stable Diffusion 3 （SD3） 的早期预览版，这是其下一代文本到图像模型。

SD3采用了类似于Sora的DiT（Diffusion Transformer）架构，提供了更强大的图像生成能力。它充分利用了Transformer技术的最新进展，能够处理更复杂和多样化的数据类型，并接受多模态输入（视频、图像），从而在理解和生成图像内容方面提供更大的灵活性和准确性。此外，SD3还结合了流匹配技术和其他增强功能，以进一步提高生成图像的质量和多样性，使得生成的图像更连贯、更自然。SD3 的模型参数从 800M 到 8B 不等。

接着，直观的来看看到底更新了啥功能～

Multi-Prompt Handling 多提示的理解和处理

SD3 对包含多个主题或元素的提示具有更好的理解和处理能力。

这意味着用户可以在单个提示中描述更复杂的场景，并且模型可以根据这些描述更准确地生成图像。

Prompt: a painting of an astronaut riding a pig wearing a tutu holding a pink umbrella, on the ground next to the pig is a robin bird wearing a top hat, in the corner are the words “stable diffusion”. 

提示词：一幅宇航员骑着一头穿着芭蕾舞短裙的猪，手里拿着一把粉红色的雨伞，猪旁边的地上是一只戴着礼帽的知更鸟，角落里是“稳定扩散”的字样。

1
2
3
4

prompt: Three transparent glass bottles on a wooden table. The one on the left has red liquid and the number 1. The one in the middle has blue liquid and the number 2. The one on the right has green liquid and the number 3.  

提示词：木桌上放着三个透明玻璃瓶。左边的那个是红色液体，数字是 1。中间的那个是蓝色液体，数字是 2。右边的那个是绿色液体，数字是 3。

1
2
3
4

prompt: A horse balancing on top of a colorful ball in a field with green grass and a mountain in the background.

提示词：一匹马在田野上平衡一个五颜六色的球，背景是绿草和山脉。

1
2
3
4

Spelling and Text Processing 拼写&文本处理

SD3在处理文本元素时具有更好的拼写和文本理解能力，尤其是直接显示在图像中的文本信息（如标语、数字、标签等）。

这包括更准确地识别和呈现用户提示中的文本，即使在复杂的视觉背景中也是如此。不过比较遗憾的是目前中文的支持并不好

prompt: Epic anime artwork of a wizard atop a mountain at night casting a cosmic spell into the dark sky that says "Stable Diffusion 3" made out of colorful energy.  

提示词：史诗般的动漫艺术作品，一个巫师在晚上在山顶上向黑暗的天空施放一个宇宙咒语，上面写着“Stable Diffusion 3”，由五颜六色的能量制成。

1
2
3
4

prompt:  a grandma wearing a "Go big or go home sweatshirt"
提示词：奶奶穿着“Go big or go home sweatshirt”的图像

1
2
3

prompt: Resting on the kitchen table is an embroidered cloth with the text 'good night' and an embroidered baby tiger. Next to the cloth there is a lit candle. The lighting is dim and dramatic.  

提示词： 厨房桌子上放着一块绣花布，上面写着“晚安”和一只绣有小老虎。在布的旁边有一根点燃的蜡烛。灯光昏暗而引人注目。

1
2
3
4

prompt: Epic anime artwork of a wizard atop a mountain at night casting a cosmic spell into the dark sky that says "Stable Diffusion 3" made out of colorful energy.  
提示词：史诗般的动漫艺术作品，一个巫师在晚上在山顶上向黑暗的天空施放一个宇宙咒语，上面写着“Stable Diffusion 3”，由五颜六色的能量制成。

1
2
3

Image Accuracy and Quality 图像精度和质量

SD3 显着提高了图像质量，包括更精细的细节表示、更准确的色彩匹配以及更自然的光影处理。这些改进使生成的图像更加逼真，并更好地捕捉用户的创作意图。

Prompt: studio photograph closeup of a chameleon over a black background  
提示词：黑色背景上变色龙的工作室照片特写

1
2
3

prompt: Moody still life of assorted pumpkins.  
提示词：什锦南瓜的喜怒无常的静物。

1
2
3

说实话，目前官方给出的样图的功能效果非常惊艳。

以后是不是就可以不用 ControlNet 来控制图片的位置姿态了。。

广告海报生成是不是也轻轻松松了…

更强的是，SD3 竟然可以理解自然语言的了，可以理解句子了，可以更好的控制图片的生成！

期待 SD3 的正式发布！！！

写在最后

感兴趣的小伙伴，赠送全套AIGC学习资料，包含AI绘画、AI人工智能等前沿科技教程和软件工具，具体看这里。
​

AIGC技术的未来发展前景广阔，随着人工智能技术的不断发展，AIGC技术也将不断提高。未来，AIGC技术将在游戏和计算领域得到更广泛的应用，使游戏和计算系统具有更高效、更智能、更灵活的特性。同时，AIGC技术也将与人工智能技术紧密结合，在更多的领域得到广泛应用，对程序员来说影响至关重要。未来，AIGC技术将继续得到提高，同时也将与人工智能技术紧密结合，在更多的领域得到广泛应用。
 

一、AIGC所有方向的学习路线

AIGC所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照下面的知识点去找对应的学习资源，保证自己学得较为全面。

二、AIGC必备工具

工具都帮大家整理好了，安装就可直接上手！

三、最新AIGC学习笔记

当我学到一定基础，有自己的理解能力的时候，会去阅读一些前辈整理的书籍或者手写的笔记资料，这些笔记详细记载了他们对一些技术点的理解，这些理解是比较独到，可以学到不一样的思路。

四、AIGC视频教程合集

观看全面零基础学习视频，看视频学习是最快捷也是最有效果的方式，跟着视频中老师的思路，从基础到深入，还是很容易入门的。

五、实战案例

纸上得来终觉浅，要学会跟着视频一起敲，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。

​