单目深度估计

欢迎访问我的博客首页。

---

1. 单目深度估计

---

  单目深度估计包括深度预测(Depth Prediction)与深度补全(Depth Completion)。

2. 数据集

---

2.1 KITTI 数据集

---

  KITTI 数据集由德国卡尔斯鲁厄理工学院和丰田美国技术研究院联合制作。其用于深度预测的 depth prediction 子集的开发工具可以在 这里 下载，里面有对数据集的说明和转换代码。
  KITTI 的深度值保存为 uint16 的 png 图像。像素值为 0 代表没有标注值，把非 0 的像素值转换为浮点类型再除以 256.0 就得到以米为单位的深度值。KITTI 的深度值在 80 米内。

2.2 NYU 数据集

---

  来自纽约大学的数据集。

2.3 数据增广

---

  因为有深度图，所以数据增广不要使用仿射变换之类，一般只对图像做旋转、裁剪。

3. 效果评估

---

  深度预测的评估标准有多项，下面以 BTS 算法的论文为例来说明：

$$图3.1来自BTS算法论文中的数据$$

3.1 带阈值的精确率

---

  假设 $d_i$ 和 $\widetilde{d_i}$ 分别表示来自标注数据的深度值和预测的深度值，$\delta$ 定义为

$$\delta =max(\frac{d_i}{\widetilde{d_i}},\frac{\widetilde{d_i}}{d_i}),\text{\hspace{1em}(3.1)}$$

那么，精确率 $P(\delta <thr)=percent$ 就表示满足公式 3.1 的预测值所占的百分比。

3.2 其它统计指标

---

  Abs Rel 全称 absolute relative arror，即绝对相对误差，表达式为

$$\Delta =\frac{1}{n}\sum _{i=1}^n\frac{|\widetilde{d_i}-d_i|}{d_i}.$$

  Sq Rel 全称 square relative error，即平方相对误差，表达式为

$$\Delta =\frac{1}{n}\sum _{i=1}^n(\frac{\widetilde{d_i}-d_i}{d_i}{)}^2或\Delta =\frac{1}{n}\sum _{i=1}^n\frac{(\widetilde{d_i}-d_i{)}^2}{d_i}.$$

  RMSE 全称 root mean square error，即均方根误差，表达式为

$$\Delta =\sqrt{\frac{1}{n}\sum _{i=1}^n(\widetilde{d_i}-d_i{)}^2}.$$

  RMSE log 全称 root mean square logarithmic error，即均方根对数误差，表达式为

$$\Delta =\sqrt{\frac{1}{n}\sum _{i=1}^n(ln(\widetilde{d_i})-ln(d_i){)}^2}.$$

  log10 误差表达式为

$$\Delta =|lo{g}_{10}(\widetilde{d_i})-lo{g}_{10}(d_i)|.$$

4. 参考

---

1. KITTI 深度预测与深度补全
2. monodepth 中的效果评估
3. 单目深度估计综述
4. 效果评估