赞
踩
大家好,我是程序员晓晓。这两天OpenAI的Sora火上了天。著名的开源AI绘画工具Stable Diffusion的母公StabilityAI却只是默默地开源出了AI绘图神器Stable Cascade!
Stable Cascade是什么?
Stable Cascade是Stability AI开发的基于Würstchen架构的新一代文生图模型,Stable Cascade采用三阶段方法,非常容易在消费类硬件上进行训练和微调。
官方声称,相对于业界熟悉的 SDXL,全新的 Stable Cascade 模型在性能及生成内容质量上均有所提升,目前 Stable Cascade 模型的相关数据已经在 GitHub 页面上公开,但仅允许非商业用途使用。
Stable Cascade模型是基于Würstchen架构构建的,与其他模型(如Stable Diffusion)的主要区别在于,它在更小的潜在空间中工作。为什么这很重要呢?潜在空间越小,推理运行得越快,训练成本也越低。潜在空间有多小呢?
Stable Diffusion使用8倍的压缩因子,将1024x1024的图像编码为128x128。而Stable Cascade实现了42倍的压缩因子,这意味着可以将1024x1024的图像编码为24x24,同时保持清晰的重建效果。然后在高度压缩的潜在空间中训练文本条件模型。与Stable Diffusion 1.5相比,此架构的早期版本实现了16倍的成本降低。
因此,这种模型非常适合需要高效率的使用场景。此外,所有已知的扩展,如微调、LoRA、ControlNet、IP-Adapter、LCM等,也都可以使用这种方法实现。其中一些(微调、ControlNet、LoRA)已经在训练和推理部分提供。
更重要的是,Stable Cascade在视觉效果和评估方面都取得了令人印象深刻的结果。根据我们的评估,Stable Cascade在几乎所有比较中都在提示对齐和美学质量方面表现最佳。上面的图片展示了使用混合的parti-prompt(链接)和美学提示进行的人类评估结果。具体来说,Stable Cascade(30个推理步骤)与Playground v2(50个推理步骤)、SDXL(50个推理步骤)、SDXL Turbo(1个推理步骤)和Würstchen v2(30个推理步骤)进行了比较。
Stable Cascade对效率的重视体现在其架构和更高压缩的潜在空间上。尽管最大的模型比Stable Diffusion XL多出14亿个参数,但如下图所示,它仍然具有更快的推理速度。
Stable Cascade为我们提供了训练和推理脚本,以及多种不同的模型供您使用。
文本转图像
Cinematic photo of an anthropomorphic penguin sitting in a cafe reading a book and having a coffee.
图像变化
该模型还可以理解图像嵌入,这使得生成给定图像的变体成为可能(左)。这里没有提示。
图像到图像
这就像往常一样,通过将图像噪声增加到特定点,然后让模型从该起点生成。此处,左侧图像的噪声已达到 80%
标题为:A person riding a rodent.
修复/修复
人脸识别
注意:Face Identity ControlNet 将在稍后发布。
精明的
超分辨率
好了,StableCascade斜杠君就简单为您介绍到这里。具体详情请参考以下地址:
源码地址:
https://github.com/Stability-AI/StableCascade
官网介绍:https://stability.ai/news/introducing-stable-cascade
感兴趣的小伙伴,赠送全套AIGC学习资料,包含AI绘画、AI人工智能等前沿科技教程和软件工具,具体看这里。
AIGC技术的未来发展前景广阔,随着人工智能技术的不断发展,AIGC技术也将不断提高。未来,AIGC技术将在游戏和计算领域得到更广泛的应用,使游戏和计算系统具有更高效、更智能、更灵活的特性。同时,AIGC技术也将与人工智能技术紧密结合,在更多的领域得到广泛应用,对程序员来说影响至关重要。未来,AIGC技术将继续得到提高,同时也将与人工智能技术紧密结合,在更多的领域得到广泛应用。
一、AIGC所有方向的学习路线
AIGC所有方向的技术点做的整理,形成各个领域的知识点汇总,它的用处就在于,你可以按照下面的知识点去找对应的学习资源,保证自己学得较为全面。
二、AIGC必备工具
工具都帮大家整理好了,安装就可直接上手!
三、最新AIGC学习笔记
当我学到一定基础,有自己的理解能力的时候,会去阅读一些前辈整理的书籍或者手写的笔记资料,这些笔记详细记载了他们对一些技术点的理解,这些理解是比较独到,可以学到不一样的思路。
四、AIGC视频教程合集
观看全面零基础学习视频,看视频学习是最快捷也是最有效果的方式,跟着视频中老师的思路,从基础到深入,还是很容易入门的。
五、实战案例
纸上得来终觉浅,要学会跟着视频一起敲,要动手实操,才能将自己的所学运用到实际当中去,这时候可以搞点实战案例来学习。
Copyright © 2003-2013 www.wpsshop.cn 版权所有,并保留所有权利。