基于GAN的单目图像3D物体重建（纹理和形状）

作者：我家小花儿 | 2024-03-26 10:45:53

踩

gan 单目光照

点击上方“3D视觉工坊”，选择“星标”

干货第一时间送达

项目地址：https://nv-tlabs.github.io/DIB-R/

代码地址：https://github.com/nv-tlabs/DIB-R

主要思想

很多机器学习的模型都是在图片上操作，但是忽略了图像其实是3D物体的投影，这个过程叫做渲染。能够使模型理解图片信息可能是生成的关键，但是由于光栅化涉及离散任务操作，渲染过程不是可微的，因此不适用与基于梯度的学习方法。这篇文章提出了DIR-B这个框架，允许图片中的所有像素点的梯度进行分析计算。方法的关键在于把前景光栅化当做局部属性的加权插值，背景光栅化作为基于距离的全局几何的聚合。通过不同的光照模型，这个方法能够对顶点位置、颜色、光照方向等达到很好的优化。此项目有两个主要特点：单图像3D物体预测和3D纹理图像生成，这些都是基于2D监督进行训练的。

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/我家小花儿/article/detail/316608?site