【6Dof位姿估计】ROI-10D之看不懂_给定2d坐标预测如何计算6dof位姿信息

解决什么问题

6D位姿估计，不需要模型

---

本文创新点\贡献

1. 端到端的多尺度单目3D检测，ROI lift map直接回归3D框的全部元素
2. 一个新的loss，在度量空间对齐3D包围盒，直接最小化和真实3Dbbox的误差，不需要设置参数
3. 模型的延申，用于预测度量纹理mesh，支持进一步的3D推理，做3D合成数据增强

---

前人方法

SSD-6D，离散角度预测
yolo-6D，预测点做PnP
3D Pose Estimation and 3D Model Retrieval for Objects in the Wild
回归2D控制点，绝对尺度

BB8也看一下？2017

Posecnn: A convolutional neural network for 6d
object pose estimation in cluttered scenes. 2018
这个直接预测旋转，然后预测2D形心对应的3D点，这样RT都有了，然后将3Dmesh转换到摄像机坐标系，计算model点和真实点之间的距离。

微调
Deep model-based 6d pose refinement in rgb 2018
微调属于射影对齐范畴

这些都需要精准的3D模型，都无法处理类内的

不过DeepIM说也能处理没见过的

---

方法

方法概述

用自己做的mesh做了数据增强，使用网络来预测深度图，同时检测出2D RoI，同时使用RoI处的特征信息和预测的深度信息，根据作者提出的$F(X)$，来预测旋转$q$，RoI相关的2D形心$(x,y)$，深度$z$，范围$(w,h,l)$，用这个来建立八个角点

---

八角点预测

From Monocular 2D Instance to 6D Pose

定义一个全部可微的映射，从2DROI到3Dbox信息，3Dbox $B$是八个有序的3D点

loss的核心

和深度信息一起编码，旋转用4元数，位移用射影2D物体形心
和[ 3d bounding box estimation using deep learning and geometry ] 2017 相似
[ Ssd-6d: Making rgb-based 3d detection and 6d pose estimation great again ] 2017
[ Posecnn: A convolutional neural network for 6d object pose estimation in cluttered scenes ] 2018

知道了形心又如何，如何知道形心在3D中的位置？
有了旋转，那就能知道一条射线，车的中心必在这个射线内，那么有了z是不是就能直接知道位置了？有长度的射线就是线段了，线段的另一个端点就是那个点了，根据长度和夹角是不是就能算出其他坐标系的值了？
不对，只有得知物体相对于原点的旋转才可以这么算，感觉预测出来的并不是对于相机原点的角度，而是本身的绝对角度，这样就不能根据旋转和z确定位置了。
现在的问题是不知道预测的是什么坐标系的
答：下面说了，非自我中心的

那就根据形心，根据内参和z，就能知道世界坐标系中中心点的位置了

我们将三维区段描述为整个数据集上与平均值区段的偏差

这个我也想到了

给定ROI $X$，$F(X)$在该位置运行RoIAlign，用几个单独的head分别预测旋转$q$，RoI相关的2D形心$(x,y)$，深度$z$，范围$(w,h,l)$，用这个来建立八个角点$B_i:$ :
B i : = q ⋅ ( ± w / 2 ± h / 2 ± l / 2 ) ⋅ q − 1 + K − 1 ( x ⋅ z y ⋅ z z ) B_i := q \cdot

$$\begin{pmatrix} \pm w/2 \\ \pm h/2 \\ \pm l/2 \end{pmatrix}$$ \cdot q^{-1} + K^{-1} $$\begin{pmatrix} x\cdot z \\ y\cdot z \\ z \end{pmatrix}$$ Bi​:=q⋅⎝⎛​±w/2±h/2±