AI绘画文生视频第二期 ComfyUI工作流分享_comfyui 根据文本生成视频

昨天的版本未把最后两个产品附上地址，因为目前还只能使用代码版本进行使用，且对显卡要求较高，本期给大家带来第二期文本转视频集锦，且统计Comfyui的最受欢迎top100工作流，目前大部分的插件或者模型师优先适配在comfyui生态中的，而且显存占用更少，我们后续会慢慢适配到comfyui生态，当然SD的工作流也在持续更新中~~~欢迎来到社区体验

最近一波视频生成模型突然出现，在许多情况下展示了令人惊叹的风景如画的质量。目前视频生成的瓶颈之一是产生连贯的大动作的能力。在许多情况下，即使是当前的领先模型也会产生小运动，或者在产生较大运动时表现出明显的伪影。为大家带来第二期产品总结。

1.文本转视频产品

2.[comfyui工作流下载](https://pan.quark.cn/s/a7c38fcbc509)

3.embedding修手模型和动物骨骼识别

01

谷歌VideoPoet

https://blog.research.google/2023/12/videopoet-large-language-model-for-zero.html

1. 对于文本到视频，视频输出的长度是可变的，可以根据文本内容应用一系列动作和样式。

2. 

3. 2.VideoPoet 还能够生成音频。在这里，我们首先从模型生成 2 秒的剪辑，然后尝试在没有任何文本指导的情况下预测音频。这样就可以从单个模型生成视频和音频。

   

   3.通过VideoPoet，我们展示了LLM在各种任务中极具竞争力的视频生成质量，特别是在视频中产生有趣和高质量的动作方面。我们的研究结果表明，LLM在视频生成领域具有广阔的潜力。对于未来的方向，我们的框架应该能够支持“任意到任意”的生成，例如，扩展到文本到音频、音频到视频，以及视频字幕等。

   

   02

   谷歌StyleDrop

   StyleDrop:顾名思义，保持img风格，在博客中提到了侧重风格一致性， 使用一些样式参考图像在文本到图像生成时实现样式一致性

   1.同样来自谷歌,能够创建包含多种类型和主题的丰富多样的图像,该工具允许更高水平的程式化文本到图像合成。StyleDrop 不寻求文本提示来描述样式，而是使用一个或多个样式引用图像来描述文本到图像生成的样式。通过这样做，StyleDrop 能够生成与参考一致的样式的图像，同时有效地规避了文本提示工程的负担。这是通过有效地微调预训练的文本到图像生成模型来完成的，通过适配器调整在一些样式参考图像上。此外，通过对它生成的一组图像进行迭代微调 StyleDrop，它可以从文本提示生成样式一致的图像。

4. 

03

COLMAP Free 3D

https://swiftforce.github.io/CCM/

论文地址：https://arxiv.org/abs/2312.07504

目前一键生成3D的产品可以使用的有Stablezero 123,123是指平面到3d的过程，可以阅读本期获取资源包，当然网上流传很火的手机围绕建筑物即可快速渲染出3D建模也可用此实现卧槽！GPT 4开放订阅 |Meta AI免费生图搅局 | StableZero直接生成3D图片 英伟达卖出了800多吨H100

04

FaceStudio在几秒钟内将您的脸放在任何地方

项目地址：

https://icoz69.github.io/facestudio/

这是图像生成中的一项有趣的任务，旨在保持主体的身份，同时添加个性化的风格风格。传统方法，如文本反转和 DreamBooth，在自定义图像创建方面取得了长足的进步，但它们也有明显的缺点。其中包括需要大量的资源和时间进行微调，以及需要多个参考图像。为了克服这些挑战，我们的研究引入了一种新的身份保留合成方法，特别关注人类图像。我们的模型利用直接前馈机制，避免了密集微调的需要，从而促进了快速高效的图像生成。我们创新的核心是一个混合指导框架，它结合了风格化的图像、面部图像和文本提示来指导图像生成过程。这种独特的组合使我们的模型能够产生各种应用，例如艺术肖像和身份混合图像。我们的实验结果，包括定性和定量评估，证明了我们的方法优于现有的基线模型和以前的工作，特别是在其显著的效率和高保真度保存受试者身份的能力方面。

05

CCM  text-image

https://swiftforce.github.io/CCM/

06

修手模型bad-hands-5本期资源包下载私信回复【cy】即可

07

动物模型openpose本期资源包下载私信回复【cy】即可

comfyui工作流

超多AI合集已整理到https://yv4kfv1n3j.feishu.cn/docx/MRyxdaqz8ow5RjxyL1ucrvOYnnH

文档更新