当前位置:   article > 正文

图像生成新篇章:Stable Diffusion 3 Medium开源评析

图像生成新篇章:Stable Diffusion 3 Medium开源评析

摘要

        在数字艺术与人工智能的交汇点上,Stable Diffusion 3(SD3)的开源无疑是一场技术革新的盛宴。就在3月份,我撰写了一篇博文,深入探讨了SD3的技术报告内容与介绍,文章发表在CSDN博客上,https://blog.csdn.net/sunbaigui/article/details/136898729。如今,随着SD3 Medium版本的开源,https://huggingface.co/spaces/stabilityai/stable-diffusion-3-medium,我们迎来了新的里程碑。在本文中,我将分享我对这一开源版本的初步体验,以及它对文生图开源社区所带来的影响。Stable Diffusion 3 Medium的开源是一个重要的技术里程碑,它不仅展示了AI在图像生成领域的最新进展,也为未来的艺术创作和技术开发提供了丰富的土壤。虽然仍有挑战需要克服,但我相信,通过社区的共同努力和不断的技术创新,我们将能够解锁更多的创造潜力,开拓数字艺术的新境界。

体验与分析

为了确保体验的一致性和可复现性,我在所有样例中使用了相同的随机数种子——"888888888"。这一决定让我能够更准确地评估SD3 Medium的性能,并与其他用户的结果进行比较。

图像文字与背景的突破

SD3 Medium在图像文字和背景生成方面取得了显著的进步。它能够更好地理解和执行复杂的文本提示,生成的图像在视觉美学、提示遵循和排版方面都有了显著提升。这不仅推动了整个社区在图像生成技术上的发展,也为未来的艺术创作提供了更多可能性。

前景主体及其交互动作的挑战

尽管在图像文字和背景上取得了成功,SD3 Medium在前景物体、尤其是人物与物体的交互方面仍有提升空间。在一些生成的图像中,前景主体细节部分往往容易出错,尤其是躯干/手指等,另外物体间的交互动作也需进一步优化。这些挑战提示我们,尽管技术取得了巨大进步,但在实现高度逼真的图像生成方面,仍需不断地研究和提升。

样例1:

An astronaut riding a green horse

首先我们先看下官方样例结果:

在这个官方样例效果还不错,不过如果放开随机种子,多生成几次的话,局部细节不良率比较高

样例2:

The elderly person sits on a wrought-iron chair, holding a glass of wine, facing the sea where spring is warm and flowers are blooming, at a seaside holiday home, with flowers and the sea around, savoring the fine wine while looking towards the coast.

再让我们看几个自定义文本输入的结果,纯中文的结果较差,我们通过kimi做一道英文翻译,再将相应英文描述输入到stable-diffusion-3-medium中,看相应结果:

老人的手部和腿部都有一些问题,词意理解的比较到位,图像中的背景生成细节丰富

样例3:

Create a poster with the "FaceChain" inscription at the center, and a Chinese dragon soaring through clouds and mist above it.

这里龙的局部包括龙头、龙翼、龙爪都有些个数与展示的不合理。但这边对FaceChain字样在图中的标识值得点赞,跟原技术报告中强调较强的图中文字嵌入能力是一致的,另外图中背景也理解到位

样例4:

Spider-Man is engaged in a fierce battle with a Transformer, set against the backdrop of the Amazon rainforest. Spider-Man fires a web from his hand, which ensnares the Transformer's head, causing the mighty robot to be seated firmly on the ground.

这里意思没理解正确,如果放开随机种子多试几次会发现前景的交互细节有很多错误,但这里的图中背景也依然很好。

声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/煮酒与君饮/article/detail/756502
推荐阅读
相关标签
  

闽ICP备14008679号