相约脑暴会，共创大未来——动态实时三维人体重建脑暴会

今夏我们召集江湖中的有识之士，共同探讨动态实时三维人体重建制作容积视频的方案，展开一场别开生面的脑暴会。在此，我们向全球开发者发出诚挚邀请，邀请您加入我们周三（8月2日）晚上八点通过腾讯会议进行的脑暴会，对于实现与改善动态实时三维人体重建项目进行进一步的讨论。

三维重建技术自问世以来，经过十数年的发展，已经成为一种较为高效的获取空间中物体表面三维结构的技术手段，在医疗，体育等领域都有着显而易见的广阔前景。而容积视频在元宇宙概念出现以来，也作为为其填充内容的一种高效的手段显得炙手可热，相较于传统的在计算机上复现产生3D模型的直接建模，使用深度相机进行实时重建有着其特有的优势，如速度快，复现效果好等，在其应用于人体的重建时，还能有效地减轻恐怖谷效应，是未来发展元宇宙的理想的信息采集转换工具。

动态实时三维人体重建形成的容积视频

硬件配置

在本次的动态实时三维人体重建项目中，我们以四台FemtoMega相机为基础，通过多机同步hub形成星型连接

使用路由器完成网络POE多机同步，分别配置四台深度相机和电脑的IP，使用FemtoMega多机同步软件完成四台深度相机的多机同步。完成多机同步后即可将四台深度相机分散开来，分别置于房间的四个角落，同时对准中央的视频采集区域。

相机内参准备

运行捕获标定数据的相关程序（capture_calib.exe），分别采集空场景图片（避免标定板出现在拍摄范围内）。在相关路径下找到采集数据时产生的相机内参数据，修改**-color-rt.json文件使得其与每个相机的内参一一对应

相机标定

将标定所需的initial和precalib两个文件复制到OrbbecStudio\programs\orbbec\output\calib\下后开始相机的标定，将标定板置于视频采集区域内，运行main_calib_chessboard.exe程序，在稳定输出时间戳后开始采集标定数据，若标定成功，会在rig文件夹下产生rig\refined_rig_group.json文件。

成功产生rig文件后命令行运行test_Rig2CVRig.exe程序，将直接标定产生的rig文件转换为可被用为动态实时三维人体重建的yaml文件。

视频采集

运行视频采集程序capture_video.exe，输入每次采样帧数后，每按下一次C键进行一次采集，输出一组深度文件和一组彩色文件在output/captureMul/Video_***文件夹下，出现如下提示时，说明该次采集的数据已经写入硬盘。此时，可继续按下C键进行下一次的数据采集，或者按ESC键或直接关闭命令行窗口退出程序。

利用ffmpeg.exe，将每个.mjpg文件转换为可正常播放的.mkv文件。

点云生成

命令行运行pointcloud_generate.exe程序，将采集到的数据转换为点云文件，格式如下：
.\pointcloud_generate.exe<1><2><3><4>
四个参数分别代表着采集数据路径，相机个数，深度阈值（深度大于这个阈值的信息将被滤掉，单位为米），深度mask的erode次数（将深度mask往内缩）

运行后，点云文件（.ply）会生成在采集数据路径下的out文件夹内。运行过程中，可查看点云效果是否满意。如不满意可停止程序，重新调整运行参数后，再重新生成点云。

点云融合

命令行运行pointcloud_fusion.exe程序，对上一步生成的点云文件进行完整的三维重建，格式如下：
.\pointcloud_fusion.exe<1><2>
两个参数分别表示采集数据路径和总帧数。

至此完成动态实时三维人体重建的过程，形成完整的容积视频在output文件夹中，可以通过unity等软件进行播放。

与微软AzureKineticDK动态实时三维人体重建的对比

重建效果请点击链接

为了进一步优化动态实时三维人体重建的效果和讨论实现动态实时三维人体重建的其他方案与可能性，我们将在周三晚（8月2号）八点到十点进行一场以此为主题的脑暴会，在会上讨论与此相关的几大议题，主要包括：

1.容积视频有哪些应用场景可以尽快落地实现商用;

2.多相机同步采集使用链型连接还是星型连接对于重建效果的影响;

3.使用POE以太网以外的方案(比如Type-C)进行通信的可能性与优缺点;

4.有没有更好的标定方法来改进动态实时三维重建质量;

5.是否可使用其他算法进行重建以获得到更好的重建效果（DynamicFusion/volumeDeform/BodyFusion/DoubleFusion/UnstructuredFusion/RobustFusion/KillingFusion/SurfelWarp/Fusion4D）;

6.外部环境对动态实时三维人体重建效果的影响有哪些;

7.是否有更合适的深度阈值达到更好的重建效果;

8.是否可以使用ai修复点云融合不平整的地方。

此次脑暴会我们将对动态实时三维人体重建方案进行深入探讨，优化已有方案的重建效果，探索更优的重建方案，共同研究，思维碰撞。对于有可行性与前景的方案，我们期待与您的进一步讨论与合作。无论您研究算法或是希望实现三维重建，我们都欢迎您加入讨论，畅所欲言，提出宝贵意见，共同探索动态实时三维人体重建的最优解决方案。有意向加入我们的讨论或者对容积视频有兴趣的朋友可以扫描下方二维码，我们将于下周三（8月2日）晚8点通过腾讯会议开展一场深刻的脑暴会，期待您的加入！

（如果图片未显示，请前往文中链接加入群聊）
1.附Femto Mega相机信息
Femto Mega · 3D视觉开发者社区 · 奥比中光 (orbbec.com.cn)

2.附Femto Mega相机多机同步方案
Femto Mega 多机同步使用说明

3.容积视频开发方案请各位开发者共同探讨