基于鱼眼相机的SLAM方法介绍

本文是一篇关于鱼眼相机的SLAM的介绍以及开源demo体验的介绍，希望有兴趣的小伙伴能够自行体验，并积极分享相关内容。欢迎交流和讨论，联系邮箱：dianyunpcl@163.com

{MultiCol-SLAM} - A Modular Real-Time Multi-Camera SLAM System

CubemapSLAM: A Piecewise-Pinhole Monocular Fisheye SLAM System

两个工程都是应用在鱼眼相机上的SLAM方案，在ORB-SLAM的基础上针对鱼眼相机做了更好的适配的工作。其中MultiCol-SLAM是一种多相机的SLAM方案，能够在复杂的环境中获取更鲁棒的位姿跟踪效果，更丰富的环境信息。CubemapSLAM方案也参考了MultiCol-SLAM相机模型处理基础上，扩展为单目的鱼眼相机SLAM系统。

MultiCol-SLAM

MultiCol-SLAM这篇文章中要对相机的多项式模型进行标定，是一个多鱼眼相机SLAM系统。对ORB-SLAM和ORB-SLAM2中提出的SLAM系统进行了改进，并将其扩展到鱼眼和多鱼眼相机系统中。

在ORB-SLAM的基础上提出了新的概念和方法：

（1）多关键帧

（2）鱼眼相机模型（Scaramuzza's polynomial model）

（3）基于多相机的捆集约束方法

（4）多相机的回环检测算法

（5）等等

在程序实现方法改进了

（1） 将矩阵变换从 cv::Mat 改为 cv::Matx 和 cv::Vec

（2） 把访问图像像素或者描述子从 .at 改为 .ptr()

（3）使用g2o::SparseOptimizerTerminateAction函数作为捆集约束姿态估计的终止条件

为了处理多摄像机系统，引入了主体帧，即描述多摄像机装备运动的帧：

开源地址：https://github.com/urbste/MultiCol-SLAM

参考文献：

1. MultiCol Bundle Adjustment: A Generic Method for Pose Estimation, Simultaneous Self-Calibration and Reconstruction for Arbitrary Multi-Camera Systems

2. Improved Wide-Angle, Fisheye and Omnidirectional Camera Calibration

CubemapSLAM

因为鱼眼相机有着较大的畸变，针对鱼眼相机做了一定的区域上的处理，特别是鱼眼相机的边界处的像素直接使用mask的方式将其舍弃，能够很好的实现SLAM的功能，

CubemapSLAM是一个实时的基于功能的SLAM(同时)定位与测绘)系统为鱼眼相机的一大特色视场(FoV)。大型FoV摄像机适用于大型户外活动SLAM应用程序，因为它们增加了视觉上的重叠连续帧，捕捉更多属于静态部分的像素的环境。然而，目前基于功能的SLAM系统就是这样因为PTAM和ORB-SLAM将他们的相机模型限制在针孔上。来为了弥补这一空缺，提出了一种新的SLAM系统利用完整的FoV而不引入失真的cubemap模型

开源地址：https://github.com/nkwangyh/CubemapSLAM

参考文献：

1. {ORB-SLAM}: a Versatile and Accurate Monocular {SLAM} System

2. {ORB-SLAM2}: an Open-Source {SLAM} System for Monocular, Stereo and {RGB-D} Cameras

3. MultiCol-SLAM-a modular real-time multi-camera slam system

平台活动指南

公众号将会推送基于PCL库的点云处理，SLAM，三维视觉，高精地图相关的文章。公众号致力于理解三维世界相关内容的干货分享。不仅组织技术交流群，并且组建github组群，可自由分享。交流提问。

历史文章查看点云学习历史文章大汇总

1.一起学SLAM：第三期：一起来学SLAM

2.招募乐于分享的你：点云PCL运营招募啦

3.招募计算机视觉，SLAM，三维视觉，点云等相关领域博客博主，公众号博客或者公司开设专栏,只要与平台主题相关，乐于分享，都可以与本平台合作经营，发布原创文章。并且可以加入微信，QQ交流群，认识更多志同道合的一起同行分享。

4，相机体验：图漾双目，小觅相机，奥比中光三款相机活动

有意者均可联系邮箱：dianyunpcl@163.com，或者评论文章留言。

资源

三维点云论文及相关应用分享

【点云论文速读】基于激光雷达的里程计及3D点云地图中的定位方法

3D目标检测：MV3D-Net

三维点云分割综述（上）

3D-MiniNet: 从点云中学习2D表示以实现快速有效的3D LIDAR语义分割（2020）

win下使用QT添加VTK插件实现点云可视化GUI

JSNet：3D点云的联合实例和语义分割

大场景三维点云的语义分割综述

PCL中outofcore模块---基于核外八叉树的大规模点云的显示

基于局部凹凸性进行目标分割

基于三维卷积神经网络的点云标记

点云的超体素(SuperVoxel)

基于超点图的大规模点云分割

更多文章可查看：点云学习历史文章大汇总

SLAM及AR相关分享

【开源方案共享】ORB-SLAM3开源啦！

【论文速读】AVP-SLAM：自动泊车系统中的语义SLAM

【点云论文速读】StructSLAM:结构化线特征SLAM

SLAM和AR综述

常用的3D深度相机

AR设备单目视觉惯导SLAM算法综述与评价

SLAM综述(4)激光与视觉融合SLAM

Kimera实时重建的语义SLAM系统

SLAM综述(3)-视觉与惯导，视觉与深度学习SLAM

易扩展的SLAM框架-OpenVSLAM

高翔：非结构化道路激光SLAM中的挑战

SLAM综述之Lidar SLAM

基于鱼眼相机的SLAM方法介绍

往期线上分享录播汇总

第一期B站录播之三维模型检索技术

第二期B站录播之深度学习在3D场景中的应用

第三期B站录播之CMake进阶学习

第四期B站录播之点云物体及六自由度姿态估计

第五期B站录播之点云深度学习语义分割拓展

第六期B站录播之Pointnetlk解读

[线上分享录播]点云配准概述及其在激光SLAM中的应用

[线上分享录播]cloudcompare插件开发

[线上分享录播]基于点云数据的 Mesh重建与处理

[线上分享录播]机器人力反馈遥操作技术及机器人视觉分享

[线上分享录播]地面点云配准与机载点云航带平差

点云PCL更多活动请查看：点云PCL活动之应届生校招群

扫描下方微信视频号二维码可查看最新研究成果及相关开源方案的演示：

如果你对本文感兴趣，请点击“原文阅读”获取知识星球二维码，务必按照“姓名+学校/公司+研究方向”备注加入免费知识星球，免费下载pdf文档，和更多热爱分享的小伙伴一起交流吧！

以上内容如有错误请留言评论，欢迎指正交流。如有侵权，请联系删除

扫描二维码

                   关注我们

让我们一起分享一起学习吧！期待有想法，乐于分享的小伙伴加入免费星球注入爱分享的新鲜活力。分享的主题包含但不限于三维视觉，点云，高精地图，自动驾驶，以及机器人等相关的领域。

分享及合作方式：微信“920177957”（需要按要求备注） 联系邮箱：dianyunpcl@163.com，欢迎企业来联系公众号展开合作。

点一下“在看”你会更好看耶