6DoF位姿估计之SSD-6D_ssd6d训练代码

1 网络模型

SSD-6D网络模型的算法流程为：

1. 输入一张299$\times$ 299的彩色图像到backbone网络(InceptionV4)中，得到6个不同尺度的特征图；
2. 接着对于每一个特征图，通过3$\times$ 3的滑动窗口得到特征图上每个像素点的分类和回归结果，分类结果包括$C$种物体类别、采样得到的$V$个viewpoints(可以理解为纬度)和$R$个in-plane rotations(可以理解为经度)，回归的结果包括4个矩形框offset参数。假设每一个像素点回归$B$个矩形框，则通道维维数为$B\times (C+V+R+4)$;
3. 最后，对于每一种物体类别的预测框，首先根据分类值大小进行排序，然后按照IOU值进行NMS处理。

2 损失函数

  SSD-6D模型的损失函数和目标检测领域的SSD和YOLO类似，但是包括了viewpoint和in-plane rotation的分类误差：
$$L(Pos,Neg):=\sum _{b\in Neg}{L}_{class}+\sum _{b\in Pos}(L_{class}+\alpha L_{fit}+\beta L_{view}+\gamma L_{inplane})$$
  式中，$Pos$和$Neg$分别代表训练集中的正负样本；此外，$L_{class}$、$L_{view}$和$L_{inplane}$本质上都为分类误差，故这里采用softmax，$L_{fit}$为回归误差，故这里采用Smooth L1-norm。

3 后处理

3.1 旋转对称和半对称物体

  对于旋转对称物体，viewpoint只在一个弧度上取值，如上图中绿色点；对于半对称物体，只在某一个半圆内取值，如红色点部分。

3.2 位移向量计算

1. 按照网络输出的viewpoint和in-plane分类结果，得到对应的旋转向量$R$；
2. 将物体的三维模型按照空间朝向(也即旋转向量$R$)渲染在距离相机坐标系$z=0.5$的位置；
3. 根据下图中的比例关系计算得到$Z_s$，其中$l_r$和$l_s$为图像上矩形框的对角线长度；
   
4. 给定相机内参和矩形框的中心坐标$(u,v)$，根据相机模型计算得到三维平移向量$t$：
   $$X_s=\frac{(u-c_x)Z_s}{f_x}$$
   $$Y_s=\frac{(v-c_y)Z_s}{f_y}$$

4 评价

  由于空间朝向是按照viewpoint和in-plane两个维度上采样的，所以首先就有采样误差的引入；再者这样采样方法不能保证空间球面上采样的均匀性，也就是靠近赤道的地方采样点稀疏，靠近两极的地方采样点比较密集。