赞
踩
在继Nerf(神经辐射场)通过神经渲染在三维重建领域取得了比较明显的突破后,22年,华盛顿大学和谷歌提出了HumanNerf,其能够从视频中合成人的三维模型。
相比于2020年Nerf最初训练的耗时性,不稳定性,之后英伟达提出Instant Nerf,提速1000多倍,只需要几秒就可以渲染出相应图片的3D object文件模型;另外针对大规模场景的重建,谷歌借助Mip-Nerf 360实现了对大规模街景和真实世界对象的逼真3D建模,取得了不错的效果。
但对人体渲染的并未得到比较好的解决,仍然吃算力,吃数据,算法等等。于是HumanNerf因此被提出来,他主要贡献是
(1)引入一种自由视点渲染方法——适用于人类复杂身体运动的视频。
相关实现细节可以具体看论文去了解。
下面我将介绍下如何去对HumanNerf来个QuikStart!
HumanNerf三维重建Pytorch使用Pycharm运行0基础教程 这个是我发在B站的视频讲解,文章看不懂可以搭配视频看
官方代码在下面的链接
HumanNerf官方代码
结合自己需要选择 命令代码
好了,好了,真要这么麻烦感觉大家都不会去尝试
接下来是我实现复现后整理好的项目包,在我的项目包基础上进行运行会更加快。(预训练的模型和数据都已经下载好了),获取方式在文末!
注意里面的torch需要安装和自己笔记本(or服务器环境)显卡GPU相应的版本的,可以在pytorch官网查到。
结合自己的需求,这些指令可以在README.md 文件里面找到
python run.py
–type tpose
–cfg configs/human_nerf/zju_mocap/387/adventure.yaml
提示:
因为我的笔记本只有1个显卡并且显存比较小,所以这里 num_workers选的是1,官方代码默认的是4,如果算力资源充足的话可以自行调整。
最后的结果,以图片帧的形式保存在文件夹。
具体实现效果可以在下面的链接观看
这是他们的项目主页
项目地址在
HumanNerf打包项目
视频讲解
另外后续会在B站更新相应的视频讲解视频,up同名,出门吃三碗饭,公众号 AI知识物语 ,也会同步更新相应的文章!
如果有自己修改参数的需求,或者不懂源码,可以在我b站视频下评论or微信公众关注私信下,看到都会回的。
最后如果文章对你有关注,可以点赞关注鼓励下,后续会更新其他相关文章!
下次再见!(o)/~
Copyright © 2003-2013 www.wpsshop.cn 版权所有,并保留所有权利。