当前位置: article > 正文

答疑+代码+视频|一个超干货的3D视觉学习社区

作者：2023面试高手 | 2024-05-28 14:29:59

踩

多频外差点云

成立近两年来，工坊深挖3D视觉的各个领域，主要涉及计算机视觉与深度学习、点云处理、SLAM、三维重建、结构光、双目视觉、深度估计、3D检测、自动驾驶、多传感器融合等，在校的童鞋和已经工作的小伙伴为我们提出了很多非常有价值的问题，在这里给大家做了汇总（可能有点烧脑哦……）

点云处理篇

点云补全有哪些常用的算法？
常用的点云分割算法有哪些？
如何对点云进行线面拟合？有哪些方式？
点云配准的常用方法有哪些？哪一种算法在速度和精度上占优势？
点云的特征提取方式有哪些？有哪些描述子？
基于深度学习的点云分割算法有哪些？精度如何？
常用的点云分类算法有哪些？准确率如何？
怎么测量点云的体积？如何测量点云拟合平面的面积？
您好，请问有有关3D点云的缺陷检测和点云补全的资料吗？
想问下有没有三维激光雷达点云配准拼接的代码工程之类的？
现在有没有对于sfm或者slam之后得到的点云进行补全处理的工作啊？
你好，请问点云表面重建有哪些方法呀？
请问怎么把点云投影到一个以点云平均点为圆心的球面上，然后再对球面进行三角网格化。
请问一下，有没有关于点云增强方面的综述性质的文章或者帖子呢？针对点云增强这一
点云和深度图怎么转换呢？
请问如果想要为点云图中某个物体的边界处的稀疏点云进行加密，通俗一点说就是使物体边界处的点云更加稠密，有什么相关的论文和方法吗？
点云增强这个领域，除了点云补全，还有哪些具体的方向呢？

……

SLAM

请问现在比较新且效果较好的Visual SLAM /Visual+Inertial SLAM 算法有哪些呢？如果能支持双目RGB或RGB-D的更好！
请问怎么用单目普通相机的slam来做三维重建呢，对比sfm改做何区别比较好？
您好，我想问下视觉惯性vio非线性优化这块，原理不是很懂，想知道他到底做了什么事？
大佬好，最近又遇到难题了。项目需求是有轨小车的障碍物检测项目，需要检测小车四周是否有障碍物，并输出障碍物的距离值，距离值精度要求很低。目前的困难是相机视场角太小，怎样才能做到类似全景检测？请大佬给个思路，谢谢您。
想请问下有没有无人机三维建模的开源项目？
……

三维重建篇

基于图像的三维重建中，由稀疏点云获得稠密点云的原理和实现的技术方式都是什么呢？
可以用MATLAB做基于多视角图片的三维重建吗？就是用SFM+MVS。或者，老师有推荐的建模工具吗？
使用mvsnet做三维重建，在估计自采数据的深度范围时，有合适的取值范围参考吗？
近期，室内三维重建融合语义的开源方案有哪些？
老师让我做的课题是用给定视频进行水下的场景重建。但是水下场景颜色比较单一，用colmap进行重建时候数据集中能用在重建的图片较少，导致点云相比实际有误差。那这种情况下要怎么对点云进行矫正和漏洞补全呢？
有近景摄影测量相关的公式推导吗？比如前方交会，后方交会，相对定向等？
我想请问一下在单目三维重建过程中，对投影仪的标定，一般用什么来评价所用方法对投影仪标定精度的有效性？

……

姿态估计篇

目前做物体6D姿态估计的网络中，有没有应用深度补全来提升精度以及提升遮挡下的识别效果的呢？
如何自己制作6D位姿估计的深度学习的数据集？
请问谁有论文A method for 6D pose estimateof free-form rigid objects using point pair features on range data 的复现代码？
请问有人有做过基于RGB-D的目标定位和位姿估计？
现有基于RGB、RGBD、点云数据的姿态估计算法都有哪些？
深度学习方式的姿态估计算法有哪些？精度怎么样？可以应用到工业上吗？
PPF算法的改进点有哪些？有哪些改进算法？
机器人视觉引导中的姿态识别思路是什么？计算速度怎么样？

……

结构光篇

为什么有的格雷码三维重建的方法需要投射水平和竖直条纹呢，而有的只需要竖直条纹呢？
最近研究生导师让我研究一下结构光编码相关的内容，请问您在空间编码和时序编码这两方面，重点是空间编码这边有什么论文或资料推荐嘛？
想请问一下在结构光单目三维重建中有没有不标定投影仪而实现标定的，我目前的课题是由一个高速相机和一个投射光栅条纹的激光器组成的系统，传统逆向标定投影仪的方法不能使用，所以希望大佬们给一些标定上的建议。
我使用的是格雷码+相移编码光栅，在经过解码得到绝对相位后，怎么计算得到深度图？
立体匹配，三维重建后发现类似摩尔纹的情况，请问这种情况怎么处理？
请问有关于线结构光传感器标定的综述论文可以推荐吗？
目前在做双目结合结构光（格雷码）的三维重建，该怎么把格雷码和双目立体匹配融合呢？
您好！想问一下这个结构光检测缺陷时候，图像和激光点云的关系是怎么样的，他和普通的基于图像的检测有什么不同吗？
用双目结构光多频外差单视角重建出来的点云有分层现象，是什么原因呢？是深度方向分辨率低吗？
刚开始学习双目结构光，不是很清楚应该如何学习，有没有什么书籍视频资料之类的希望能给推荐一下？

……

双目视觉篇

一直搞不懂，双目拍得一组的两幅图像，提取特征点、立体匹配、三维重建之后。这一组图片结果与其他组图片结果，用什么方法融合在一起呀？
请问有没有什么经典的双目估计深度的文章可以推荐一下？
双目视觉，对于遮挡区域的视差估计或者遮挡区域的深度补全，有比较新的论文推荐吗？
有没有双目三维目标检测的实战算法？
双目视觉三维重建时，想要获得点云是左右视差图都要用到吗？
双目视觉的瓶颈在哪里？如何改进？
你好，最近看到一些基于深度学习方式的双目重建，速度很快，这种方式有应用价值吗？
立体视觉的匹配速度有哪些改进的方式？

……

深度估计篇

请问有没有什么经典的双目估计深度的文章可以推荐一下？
请问深度估计输出的深度值，是点到相机平面的垂直距离，还是到相机镜头的距离？
对于双目深度估计任务端到端，非端到端模式区别在哪里？
有哪些自监督方式的单目深度估计算法？
请问现在关于单目图像深度估计比较领先的算法和开源工具有哪些？哪些算法在特征点很少的图像中表现比较更好？
打算用无监督学习来做深度估计，但是数据集没有真值，这样做出来的结果怎么做定量评估呢？有没有除了真值以外的评价深度估计算法效果的方法呢？
我想请问一下，现在基于深度学习的单目视觉估计能够应用在工业实际项目中了？
如何解决单目深度估计远距离误差大的问题？

……

3D检测篇

我想问一下有哪种比较好落地的3D目标检测算法，最后实现的效果是能获取目标的姿态估计这样的效果
基于Lidar点云数据的3D检测算法有哪些？
基于双目和单目的3D检测算法有哪些？
基于多模态数据融合的3D检测算法有哪些？
如何使用Radar和Camera融合数据进行3D检测？

……

自动驾驶与多传感器融合篇

Lidar和Camera的标定方式和工具有哪些？
Lidar和Radar的标定方式有哪些？
多相机标定方式有哪些？
Lidar和双目相机标定融合的paper有推荐吗？
激光雷达、Camera、毫米波雷达融合怎么做融合？
手眼标定方式有哪些？
Laser和相机的标定方式？
IMU、Camera的融合代码有吗？

……

百篇综述paper

双目视觉的匹配算法综述
基于立体视觉深度估计的深度学习技术研究（综述）
单目图像的深度图估计：综述
机器视觉表面缺陷检测综述
最新机器人抓取点检测、物体6D姿态估计paper汇总：堆叠场景、遮挡场景、单目图像、深度学习方式等
基于视觉的机器人抓取，从目标定位、姿态估计、抓取检测到运动规划类综述
超详细的3D Machine Learning教程：涉及数据集集合、三维模型、三维场景、三维姿态估计、单目标分类、多目标检测、场景/对象语义分割、三维几何合成/重建；
A Review on Object PoseRecovery: from 3D Bounding Box Detectors to Full 6D Pose Estimators
A Survey on Deep Learning forLocalization and Mapping:Towards the Age of Spatial Machine Intelligence
A survey of variational andCNN-based optical flow techniques
Multisensor data fusion: Areview of the state-of-the-art
A Review of Data FusionTechniques
Review: deep learning on 3Dpoint clouds
3D indoor scene modeling fromRGB-D data：a survey
Automatic Target Recognition onSynthetic Aperture Radar Imagery: A Survey
Event-based Vision: A Survey
Self-Driving Cars: A Survey
RGB-D Odometry and SLAM：基于RGB-D的视觉里程计和SLAM综述
Image-based 3D Object Reconstruction:State-of-the-Art and Trends in the Deep Learning Era4
Deep Learning for Image andPoint Cloud Fusion in Autonomous Driving: A Review
A Survey of SimultaneousLocalization and Mapping with an Envision in 6G Wireless Networks
Graph-based SLAM: a survey
Visual simultaneouslocalization and mapping a survey
Topological simultaneouslocalization and mapping a survey
Kalman Filter for Robot Vision:A Survey
Target-less registration ofpoint clouds: A review【点云无目标配准综述】
A Review of Point Cloud SemanticSegmentation#【基于点云的语义分割综述】

……

「3D视觉从入门到精通」知识星球

超全的资料和答案获取，请移步到「3D视觉从入门到精通」知识星球：一个超干货的3D视觉社区，目前已有近2000+的小伙伴加入学习，每天都有新知识分享。这里送给大家一张优惠券，有效期两天，有需要者自取哈。

学习3D视觉核心技术，扫描查看介绍，3天内无条件退款

圈里有高质量教程资料、可答疑解惑、助你高效解决问题

什么是知识星球？

知识星球是一个高度活跃的社区平台，在这里你可以和相同研究方向的小伙伴一起探讨科研工作难题、交流最新领域进展、分享paper资料、发布高质量的求职就业信息，当然还可以侃侃而谈，吐槽学习工作生活。

3D视觉从入门到精通知识星球

这是国内最大的3D视觉领域学习交流的社区平台，目前已有近2000名活跃的成员，主要涉及3D视觉、CV&深度学习、SLAM、三维重建、点云后处理、自动驾驶、CV入门、三维测量、缺陷检测、视觉产品落地、视觉竞赛、硬件选型、学术交流、求职交流等领域。星球内部汇集了众多实战问题（相信一定能帮你少走很多弯路），以及各个模块的学习资料：论文、书籍、源码、视频等。

针对小白，星球推出了学习路线，能够帮助新人逐渐进阶学习，我们的vip群更是营造了良好的学术交流环境。

针对需要进阶的童鞋，星球汇总了大量的前沿技术资源，相信这些内容一定能够帮助到个人的成长发展。

星球的成员组成

星球汇集了国内外各个高校的研究生、博士生，包括但不限于清华大学、上海交通大学、华中科技大学、武汉大学、南京大学、北京理工大学、北京航空航天大学；以及国外留学的小伙伴，主要就读于南加州大学、墨尔本大学、慕尼黑工业大学、亚琛工业大学等。除此之外，还有很多一线工作的算法工程师、开发人员，包括但不限于百度、旷视、华为、奥比中光、云从、阿丘科技等。

星球的主要嘉宾

「3D视觉从入门到精通」知识星球是一个技术社区，在这里你可以讨论任何3D视觉相关的难题、前沿技术。星球邀请了国内外高校博士（北航、慕尼黑工业大学等）、CV独角兽公司CTO/CEO、以及各大厂的算法工程师解惑。在这里，你可以一对一和大佬交流，提出自己在工作学习上的疑问。

合作企业

知识星球现已和众多公司建立了良好的合作关系，公司内的算法负责人会不定期的来内部进行前沿技术/产品分享，除此之外，星球也为公司推荐合格的算法/开发人才。现有合作企业包括但不限于：华为云、腾讯、图漾科技、镭神智能、中科慧眼、INDEMIND、迁移科技、追势科技等~

为什么给大家推荐「3D视觉从入门到精通」知识星球呢？

下面先简单以几张图片总结星球的主要内容：

往期干货展示：

二视频课程：

更多干货汇总：

随着我们队伍的不断壮大，目前星球嘉宾及合伙人，主要包括多个大厂的计算机视觉算法工程师、深度学习算法工程师、结构光三维重建算法工程师、资深VSLAM算法工程师、3D视觉测量方向的点云后处理资深算法工程师、标定算法工程师以及国内外知名高校博士等近20多位成员。星球主要关注3D视觉、vSLAM、三维重建、点云处理、立体视觉、结构光、深度学习、计算机视觉和图像处理等方向。日常分享各个领域的最新进展和经典论文，会员可以免费对嘉宾进行技术提问，完成一对一的指导解答，星球的初衷是让更多的童鞋能够尽快熟悉自己研究的3D视觉领域，少走一些弯路。

目前我们的星球嘉宾已经陆续为我们的星球成员带去了线上课程，包括：基于深度学习物体抓取位置估计、相机标定的基本原理与经验分享、基于点云的三维物体表示与生成模型、聊聊目标检测与秋招那些事儿、基于激光雷达的感知与定位导航应用、图像对齐算法、中科慧眼崔峰博士详解深度相机原理及其应用、......后期会陆续针对星球里的内容，进行进一步讲解与指导。

同时，我们的星球更是入驻了多个企业的创始人及CTO，优秀的学员，我们将优先内推到企业。

「3D视觉从入门到精通」知识星球

星球是目前唯一以3D视觉系统化学习为主题的高质量知识星球，目前已经有近2000个小伙伴进入学习。主要有以下几个亮点：

1、星主及合伙人共同答疑。星球的合伙人先后就职于国内知名研究机构、自动驾驶公司、海康研究院，主要研究方向为深度学习、目标检测、语义分割、图像处理、自动驾驶感知算法，同时也是CSDN博客专家。星主先后任职于国内知名研究院、知名大厂，一直致力于3D视觉算法、VSLAM算法的开发，涉及相机标定、手眼标定、结构光视觉、点云后处理、编程优化等相关领域的研究。对于星球里的提问，将由星球和合伙人协同作答，星球成员一起探讨，直至得到最佳解。

2、技术介绍不枯燥、详细且有趣。该系列以最基础的知识开始介绍，单个帖子介绍一个具体的知识点，尽量做到图文并茂，生动有趣，并将结合视频课程，对3D视觉的每个重要技术细节一点点深挖。平时再忙没关系，业余时间可以反复观看。（从加入起，有效期一年，到期后，之前已发布内容仍可查看）。

3、技术内容重实践、实操性强。笔者及合伙人会根据不同的知识点设计一些可实践性的练习题，俗话说，实践出真知，只有在实践中获得的认知才是最真切的，假以时日，高效提升解决问题的能力才是王道。

4、精选3D视觉项目常见问题。3D视觉理论到产品落地，这中间会涉及方方面面的细节问题，比如编程优化加速、相机硬件选型、编程工具等，这些是一个优秀开发者需要具备的综合技能。笔者与合伙人会结合各自的项目经历做定期分享，帮助大家提升综合能力。

5、高质量的交流、讨论、学习社区。星球内所有成员都可以进行发布问题、分享知识、上传资源、点赞、留言、评论等操作。对于小伙伴提出的问题，我们大家皆可以参与交流、讨论。所有的交流讨论及问题、资源分享等，星主都将会定期整理，方便日后快速查询。小伙伴们在学习或者项目中遇到问题都可以在星球里免费提问，星主看到后及时答疑解惑。

尾注

1、新进星球的同学请查看置顶帖子「内容快速导航」，尽早跟上节奏。我们将隔一段时间对星球里的知识点和帖子进行整理，更新，所以大家务必请关注置顶帖子。

2、本课程的优势：

非常完善的3D视觉学习路线，逐步攻克3D视觉中的每个重要知识点。鉴于星球里截止目前已经分享了近1500个帖子，涉及SLAM、三维重建、3D深度学习、多传感器融合、双目视觉、多视图几何、图像处理、编程调试技巧、点云后处理、针孔模型及鱼眼镜头标定、读书心得、项目实战、招聘需求等，以后会不间断增加其他知识点，减少知识盲区。