Ai绘画：Midjourney与Stable Diffusion普通人应该学哪个？

套用一句老话，小孩子才做选择，大人都得要会。

原来AI图像的三个主流算法是Midjourney（MJ）、Stable Diffusion（SD）与DALL·E。目前DALL·E谈论度不高，可能是视觉表现上不如MJ，实用度上又不如SD的缘故。

不过DALL·E是OpenAI自家产品，OpenAI的大股东又是微软，所以可能会跟微软的更多产品结合，例如，Bing的生成图像工具Image Creator用的就是DALL·E，但也需付费使用。

MJ由于超强的视觉表现，很适合用来产生角色概念、背景视觉概念图与美术设定等，可用img2img（图生图）的方式做到一定程度的视觉控制。

但在动画/游戏/商业制作上，一般需要角色与背景可以达到更强的可控性，以符合实际需求，而这正是SD加上其插件ControlNet的强项。SD是唯一开源的视觉生成AI，本身免费是个绝大优势(虽然对硬件要求比较高)，而且可以商用，对于想通过训练自有模型来产生独家风格的工作室非常合适。

目前看来，MJ不太可能走向开源，订阅制月费从10美刀起跳，就算未来版本能提升可控性，但因为无法在本地训练自己的模型，终究无法取代SD。

可以说，MJ跟SD是目的性不同的工具，MJ是视觉表现工具，SD是制作取向工具，相信一些需求者会在不同的阶段使用它们，而且对使用者来说，两者并不冲突，在制作上可以相互配合互补。

Midjourney：目前最顶级的AI生成视觉工具

如果想出概念设计、背景美术等视觉图的话，MJ是个超强的工具，MJＶ5和 Niji5不论光影或者是色彩，都已经是顶级画师水准，其中，Niji擅长产生动漫风格的视觉。

Niji这种3D风格结合2D动漫感的图像，感觉是其独有的视觉语境，以前很少看到这种类型，毕竟这样的模型若用3D建模其实相当耗时，当然，MJ生成的并不是真正的3D模型，还是一张图。

另外，虽然MJ付费版可以商用，但也传出一些创作者的作品未经同意被拿来训练的争议。除了版权有疑虑外，MJ会因为各种新推出的风格或模型，造成大家都跟风一波，毫无疑问会产生出大量风格雷同的图片。

在这个人人都能出美图的时代，要怎样提升自己的作品辨识度？这是一个问题。

Stable Diffusion ：Ai绘画不可或缺的工具

SD产生出来的图整体来说也许不如MJ强大，但由于SD是开源的，其潜力被最大限度挖掘，很多技术人员开发出各种工具可供使用，发展更新速度惊人，基本每周一变。

并且，SD能在本地端电脑训练出自己专属的模型，可以兼顾安全与隐私，也比较不怕成果被AI整碗端去。在官网或Hugging Face都可以直接在线上使用SD，但是想要有更多控制选项可以调整，安装到本地端是更好的选择。

目前，很多还没开始SD的人，不是卡在电脑硬件不够力(算力不够)，不然就是觉得安装太复杂。

▶算力不够？

硬件不够好或者没有NVIDIA 3060等级以上的显卡，本地端的SD可能跑不动，这时很多人会选择Google的Colab，Colab可以让你在浏览器中编写及执行Python程序，等于是你有了一台云端电脑帮你算图。

所以，自己的电脑硬件不够好也问题不是太大，虽然有一些限制，但基本上只要有网络就可以使用。可惜由于用量太大，Colab前几天宣布免费版禁用SD，付费版则可正常使用。

当然，国内也有一些平台是可以部署SD的，例如百度飞桨等，需要一定的费用，而且对有计算机基础的人会友好一些，对于愿意钻研的人来说也问题不大，网络上有各种教程。

▶觉得安装太复杂？

如果你是安装在本地端电脑，其实背后是Python在运作，而SD的WebUI让你能够直接在浏览器中来运行它，只需要复制贴上执行几行Command Line（命令列）就行。

一个好消息是，国内很多大佬出了SD一键安装包，例如秋叶出的傻瓜包，可以让没有计算机基础的人也能一键安装成功，大大降低了其使用门槛。

需要注意的是，个人电脑需要 NVIDIA 3060以上的显卡（至少8G以上），内存至少16G。MAC的话至少需要Ｍ1。

Stable Diffusion 绘画的相关功能

安装完SD，你必须先要有一个大模型(也称之为主模型)才能开始生成图片。大模型体积很大，大概在2G-8G之间，扩展名主要是 .ckpt或 .safetensors；大模型选择不少，就选个适合自己的下载就行。无论大小模型，很多人选择在Civitai（C站，需要科学上网）下载。

如果硬盘很大，可以多下载几组大模型来试试看效果。有了大模型就可以开始出图了，但不少使用者会下载一些喜欢的小模型来搭配，这样可以事半功倍。

小模型有几种类别，例如LoRA、Textual Inversion等，最常用的是RoLA(Low-Rank Adaptation)，体积约在100M-300M之间。

LoRA对出图效果影响很大，网络上大量精美的图片，都是通过LoRA影响画出。

大小模型对生成的图片风格都有影响，大模型是基底，小模型在风格上影响更直接一些。一开始可以直接下载别人训练好的小模型，熟悉了以后，就可以训练自己的RoLA，做出自己需要的风格。

大模型的本地训练比较折腾，也非常吃硬件配置，普通电脑难以应付。但对于个人来说，通常训练小模型就可以了，而且个人电脑训练完全可以应付，只需依葫芦画瓢，调整一些参数就可以。

目前针对小模型的训练教程比较多，但讲得清晰简洁的人很少，硬生生把一个相对简单的事情，讲得复杂无比。有人感兴趣的话，后续我会考虑出一个简明教程。

▶插件

有了大小模型后，你还需要插件来增加一些功能。ControlNet是SD的必装插件之一，ControlNet的出现让制作上更好控制，也因此让SD变成生产力工具。

它可以通过几种方式去侦测上传的图片，例如我很常用的canny，是去提取边缘转为线稿，再通过线稿去重新生成新的图片。所以产生出来的图片是依据你的原图渲染而成，并可以控制影响程度。

除了ControlNet以外，还有其他工具也很好用，例如inpainting可以把一张图中不满意的地方做Mask（遮罩），让SD仅重新绘制你指定的部位。SD各种细节很多，网络上有更多详细的教程，这里不一一展开。

那么，还有什么是需要再提一嘴的呢？

．SD的未来发展

目前用模型产出的单图都不错，但一谈到连续图片或视频，会发现人物造型不够稳定、阴影乱跑、画面闪烁等问题令人诟病。

有很多尝试解决上述问题的插件，但目前还没有一款是足够成熟的，因此会需要很多后期处理，这应该就是接下来需要克服的。另外，目前视频输出不是很成熟，SD实际上也没有视频生成功能，基本上是多个单图连续输出后再串成视频，对硬件要求高，学起来也费劲一些。

如之后SD能充分完善这些功能，估计会对视频生产会造成难以想象的巨大影响。

．MJ的未来发展

MJ的版本发展之快令人惊讶，V5版本才出来没多久，就又有V6的消息了，它发展的面向跟SD明显不同，MJ持续研究生成式AI在视觉艺术展现上的可能性，V6 版新功能剑指3D，能做到怎样还是未知数，但MJ出手总是令人期待的！

总之，Ai的发展完全可以用一个词来形容：日新月异。

明天的世界，又不一样了。公众号：67号Lora ，分享上文两个工具的行业应用案例，以及基础教程。

本文整合了台湾网友@Lynn Tsai分享的使用经验；本文图片，除特别说明外，均由Midjourney生成。

关于AI绘画技术储备

学好 AI绘画 不论是就业还是做副业赚钱都不错，但要学会 AI绘画 还是要有一个学习规划。最后大家分享一份全套的 AI绘画 学习资料，给那些想学习 AI绘画 的小伙伴们一点帮助！

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/神奇cpp/article/detail/1005488