赞
踩
近期,腾讯联合上海交通大学开源了一个可控视频生成框架:MimicMotion,类似阿里的全民舞王,只需要上传一张照片,然后再上传一段人物的舞蹈或者动作视频,就可以生成以照片中人物为原型的动作或者舞蹈视频了。
MimicMotion 可以根据我们上传的视频生成任意长度的高质量视频。通过渐进式潜融合策略,不管多长的视频都可以使用固定的资源进行生成,理论上多长的视频生成都只是时间问题,不会爆显存了。
并且通过置信度感知姿态引导「这是指在生成视频的过程中,系统会考虑它对于每个动作的确定程度。如果系统对某个动作非常确定,它就会更自信地生成这个动作;如果不太确定,它可能会更谨慎一些。」,让生成的视频更加流畅,过渡更加平滑。
而且基于姿态置信度的区域损失放大显著缓解了图像的失真情况,更好的保证了视频生成的质量。
这个对显卡要求较高,N卡,显存16G起可玩,请先确认自己的显卡是否能运行再下载!
MimicMotion简介
MimicMotion 是由腾讯公司推出的一款人工智能人像动态视频生成框架。该框架利用先进的技术,能够根据用户提供的单个参考图像和一系列要模仿的姿势,生成高质量、姿势引导的人类动作视频。MimicMotion 的核心在于其置信度感知的姿态引导技术,确保视频帧的高质量和时间上的平滑过渡。
项目地址:https://tencent.github.io/MimicMotion/
一键整合包下载:MimicMotion - 一张图片实现视频跳舞,腾讯开源照片跳舞模型 本地一键整合包下载
功能特色
MimicMotion 的功能特色包括:
生成案例
使用教程
1.下载解压一键包,双击一键启动,等待自动进入WebUI界面
2、上传一张 参考图片 和 参考视频
“
这里还需要提一下,如果视频中的人物是全身的话,上传照片中的人物也尽量用全身照,要不然出来的效果可能没那么好。
如果视频中的人物是半身的,那也可以上传半身的照片。
半身照,人物脸部的细节比较到位,人物的脸部就不太容易崩坏,人物一致性保持的还是相当不错的。
”
3、高级设置参数可以默认,也可以调节帧率、分辨率等参数,最后点生成即可。
注:目前整个项目生成速度较慢,尤其是参数越高,速度越慢,请根据自己的显卡设置参数。
Copyright © 2003-2013 www.wpsshop.cn 版权所有,并保留所有权利。