高翔讲课2021/8/12_gtsam vslam

一些笔记精选：

ORBSLAM 学界业界受欢迎的

有些扫地机器人就是直接用ORBSLAM做的

从代码质量到开放程度，ORB是个不错的选择、

GPS本身频率低，精度差（10m左右），局部地区，对视觉没什么影响， 除非回环检测用一下

RTK或许可以。

看来高翔不看好这个。他说的也不无道理。

SLAM更多用灰度图，彩色图不太稳定。不同的相机色彩表示可能不一样。

主流的SLAM用的灰度图。

有一本书  数值最优化  里面讲了各种各样的方法

PNP问题  ICP问题    建模成一个最小二乘问题，都可以拿这个去计算，这是一个通用的东西。

有了李群和李代数可以对自变量是旋转矩阵（或者旋转变量），可以求对旋转矩阵（或旋转变量）的导数

工业界，对实时性要求高，实时定位，融合定位，大部分用滤波器的方法，计算受限，实时性要求高，不关心回环检测。

建图里面更多用优化的方法。很难单纯用滤波器来处理。

基本是在讲《视觉SLAM十四讲》这本书

===============================================================================================================================================================================

研究生做VSLAM多一些，现在做激光多一些

 

 

 

上午PPT有一百多页

KITTI也是自动驾驶里面常用的数据集

 

ORBSLAM 学界业界受欢迎的

有些扫地机器人就是直接用ORBSLAM做的

从代码质量到开放程度，ORB是个不错的选择、

可能高翔是慕尼黑的？

 VR也可以用SLAM  这是一个tego的案例

 

 SLAM主要两个事，一个CV，一个状态估计

状态估计这本书难了一些

简单的可以看高翔写的

 

后端  建模成一个优化问题

 

 

 

 

 

 

 

 

旋转与平移

 

 

 N维矩阵的旋转可以构成一个群，三维的是SO3，二维的就是S02

城区很多用地图定位，不是实时建图，是事先构建一个高精度地图。

视觉和激光融合现在不是在学界很强烈的需求。

GPS本身频率低，精度差（10m左右），局部地区，对视觉没什么影响， 除非回环检测用一下

RTK或许可以。

看来高翔不看好这个。他说的也不无道理。

所以无人机GPS定点定得那么好，是不是改研究一下里面的融合？

 

 

 

 

 假设是一个多项式模型，系数通过标定来取得，不建议取太高阶的模型，高阶的模型容易过拟合，一般取两到三阶的样子。

十几公分的项目大概能看到20米的范围。

 

SLAM更多用灰度图，彩色图不太稳定。不同的相机色彩表示可能不一样。

主流的SLAM用的灰度图。

 增量式更偏向于实时定位，

批量，

两个本质一样，高翔说

一次性告诉你所有信息，你批量估计。

最大后验估计

 最大似然估计和最大后验估计相差有没有一个先验，大部分时候我们把两个说成一个。

MAP（最大后验估计）问题就变成了一个最小二乘问题。

 

 

后面可以用图的形式表示出来，那就是图优化了

 

 

有一本书  数值最优化  里面讲了各种各样的方法

PNP问题  ICP问题    建模成一个最小二乘问题，都可以拿这个去计算，这是一个通用的东西。

李群

用特殊的方式处理它的导数

 什么是群，什么是环，什么是域

 

可以通过微分的方式来讲李代数，这样自然一些

 

 

 

 

 

 

SO3的李代数其实就是旋转矢量

 

 

 

 

 

 

 

 

 

 

有了李群和李代数可以对自变量是旋转矩阵（或者旋转变量），可以求对旋转矩阵（或旋转变量）的导数

 

 

上午到这里

下午讲前端，后端

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 带金字塔的光流，这个我听懂了，先追踪一个低分辨率的。

LK也可以建模成一个非线性优化的问题，进一步用高斯牛顿去解。

 稠密光流   稀疏光流

不管是特征点还是光流最后都是拿到图像点对

得到点对是CV的问题，得到点对后判断怎么运动是几何的问题

 

 

 

 

 

 

 

 

 

 

 

 

 

 

一种是递归式优化，一种是图优化

 

 

 

 

 

马尔科夫性   高斯假设。卡尔曼滤波是基于这两个假设来的。

 高翔知道的卡尔曼滤波的推法有四，五种，本质是一样的。

 

 

 

 

 

看卡尔曼滤波的其他推法可以去看 机器人学概率估计 这本书，里面有四种推法，可以让你理解得比较深。

很非线性的系统用滤波和用优化区别会比较明显

想融都可以用卡尔曼融

缺点也明显，马尔科夫性

 

 

 

图的稀疏指大部分节点和别人不连。

我现在看懂这个矩阵了！！！！！

 

 

 

 联合分布 = 条件分布 * 边缘分布

卡尔曼滤波可以看作单步的，滑动窗口就是我一次性可以多估计几个，几个时刻一起。

 

后端基本相似，滤波或者优化，不管是视觉SLAM还是激光SLAM

最后讲讲实用的东西

 

 差不多讲完了

工业界，对实时性要求高，实时定位，融合定位，大部分用滤波器的方法，计算受限，实时性要求高，不关心回环检测。

建图里面更多用优化的方法。很难单纯用滤波器来处理。

知识更多来源于书面，更多是别人的知识，没有自己的经验，实际自己写的东西，自己调的东西，自己会有感觉，什么比较好，什么调得通。（别人论文都是说自己方法好，但是实际去用可能会有问题）更希望看到一些经验，而不是纸面一些说法。更好是自己有一些改进意见。

不能光看论文，实际去跑系统，做些改进。看论文别人论文只会说自己哪里哪里好，但是你不知道为什么。得自己多动手去做些实验。而不是纸面上的知识。

16:16

gtsam，因子图。对于工程应用还是过于复杂了些。优化相比于滤波是比较明显的。

因子图比图优化更复杂了更慢了，效果也不是很明显。

（高博似乎不喜欢gstam,不喜欢因子图）

可以算法简单点，特征点烧点，若的CPU一样可以跑VSLAM。

相机直接影响SLAM性能，环形相机，那么你追踪不容易丢，比很多复杂算法还好（怪不得T265用鱼眼？）

需要个大视野的相机。

（我也觉得二维码降落换个摄像头比你设计各种复杂算法可能好些）

deeplearning替换前端？深度学习后端，通用性还不行。

 16:32:40
不愁没东西可以做

 16:33:32
读SLAM的研究生博士还是有前景的

 16:34:09
比deeplearning更扎实一些，学的东西也比较多 工业届界也用得上

 

回放也有。