一文详解光场深度估计

来源丨新机器视觉  工光场成像LightField

深度估计是场景三维重建过程中要解决的一个关键问题，传统影像中，常见的深度估计方法主要分为以下单目深度估计、双目深度估计以及多目深度估计。单目深度估计主要是借助图像的纹理、梯度、散焦/模糊线索等；双目或多目深度估计（也可以说是立体视觉）是基于三角测量原理，从多张不同视角拍摄的同一场景的二维图像中提取深度信息。光场深度估计的方法是传统图像深度估计方法的继承与发展。

光场深度估计算法分类

我们知道，光场图像中包含场景的多个视角信息，使得光场相机进行深度估计变得可能，同时相较于传统图像深度估计，不易受运动等带来的影响。但是由于多视角信息之间的基线较短，可能会导致误匹配的问题，目前国内外针对光场进行深度估计的方法大致分为以下几类：

图1 深度估计方法分类图

基于优化的方法

基于多视角匹配的深度估计方法

基于多视角匹配的方法是由传统二维图像的立体匹配演变而来，具体的理论在这里就不赘述了。传统立体匹配方法需要使用两台或多台相机对一个场景进行拍摄，在这个过程中需要克服相机抖动、人为操作的影响；而光场相机一次拍照等效于多个相机对同一场景进行拍摄，并且几乎不受相机抖动影响，在深度估计方面有着很大的潜力。同样的光场相机目前也存在一些需要克服的问题，我们在前边提到，光场相机由于基线较短，容易造成误匹配的问题，而多视角匹配方法来求取深度，最关键的一点就是要得到准确的匹配对，为了解决误匹配的问题，学者们也提到了许多方法来尽可能提升准确度，下表是列举出来的一些具有代表性的方法：

其中，Yu等人研究了基线空间中的几何关系，改善了光场的立体匹配效果^[1]；但是该方法只使用了传统的匹配方式，导致视差较小的场景中难以很好的估计深度。之后为了克服小基线的误匹配问题，Jeon等人基于多视角提出了一种成本量匹配算法，用于评估不同视差值标签之间的匹配成本^[2]。Heber等人提出了一种新的PCA匹配条件用于视角弯曲的创建，以解决光场多视角窄基线带来的像素级细微差异不敏感的问题^[3]。

基于EPI的光场深度估计方法

不同于多视角立体匹配的方式，基于EPI的方式是通过分析光场数据结构的从而进行深度估计的方式。

如下图所示：

图2 空间点投影示意图

上图中P点为空间点，Ⅱ为相机平面，Ω为像平面。如下图所示，通过固定光场影像的一个角度方向和空间方向，我们可以获取其EPI图像，下图下侧和右侧为EPI示意图：

图3 EPI示意图

图4 EPI斜率示意图

进一步的，我们得到了EPI图像之后，可以通过检测EPI图像中斜线的斜率来进行视差d估计，如下式：

d = △u/△x

根据对极几何的原理，可以推导出深度Z与视差d之间的关系，如下式：

Z = -f/d

上式f为焦距；另外，结合公式与上图可知，不同深度的目标点，对应的EPI图像中的斜率不同。

下表是列出的比较有代表性的基于EPI的光场深度估计方法：

EPI图像是对光场的四维坐标进行重组的一种表征形式，把一个角度坐标和一个空间坐标组合，以二维图像的形式表示出来。在光场图像得到应用之前，传统方法是在二维光学几何基础上利用不同视角拍摄的图像之间的极线几何关系实现场景重建。最早使用EPI用于深度估计的工作是于1987年由Bolles等人提出的一种关于运动背景下的结构深度估计，但该工作是基于颜色一致性原则假设的，因此对遮挡和噪声不鲁棒^[7]。之后，Zhang等人借助旋转平行四边形算子测量EPI的斜率，改善基于EPI的方法对强遮挡与噪声不鲁棒的特点^[8]。该方法将算子在二维的EPI中集成，这样只需测量窗口两个部分之间的分部距离即可。Wanner等人利用EPI空间中的结构张量估计直线的局部方向，再引入平滑优化构建全局的深度^[9]。基于该工作，Li等人利用结构信息建立了关于EPI的可靠性图^[10]。该类方法对EPI斜坡分段处理，因此在分段处容易产生错误预测。Ziegler等人把二维的EPI信息扩展到了四维空间，取得了优秀的深度估计效果^[11]。EPI的方法在深度沿着空间内一条直线连续变化的情况下具有出色的效果，但当直线受遮挡或噪声影响而中断时，就会产生错误预测。而若引入分段处理或其他的约束条件，算法的复杂度又会增大。

基于重聚焦的深度估计方法

光场图像的一大特点就是可以先拍照后聚焦，我们知道不同深度的物体在多视角图像中对应的视差值是不同的，那么将多视角子图像按照一定规律进行平移叠加就可以呈现出不同的聚焦效果。那么反过来思考：处于焦平面处的物体更清晰，其他平面的物体会模糊，我们根据这一特性可以根据焦点堆栈来反推深度。

目前基于重聚焦的深度估计方法，大致思路都是从以下路线进行：

图5 基于重聚焦深度估计流程图

其中深度线索及原始深度估计是通过焦点堆栈来获取离焦量，之后借助离焦量（也有在离焦量的基础上结合其他线索的方法）来估计初始深度；但是得到的初始深度并不能完全反映真实的场景深度，还要引入一个新的控制变量——置信度，来约束优化深度，例如Tao估计离焦量与深度之间的变化曲线来引入一个主次峰值比例来作为置信度，从而优化深度值，最后进行深度融合[5]。学者们也提出了不同的估计方法，下表列举了一些较为有代表性的方法：

目前针对基于重聚焦的深度估计方法，主要集中于深度线索的改进，提升算法针对遮挡和噪声的鲁棒性。基于重聚焦的深度估计方法在重复的纹理和强噪声场景下有较好的效果，但是在时间和算法表现上还需要进一步的权衡。

基于学习的深度估计方法

随着深度学习的兴起，越来越多的学者将其应用到深度估计当中；与基于优化的方法相比，深度学习只需要预先完成训练，就可以快速预测出场景深度，并且对噪声、遮挡等情况也更加的鲁棒，并且不被算法复杂度或计算时间影响，但是将其应用到光场领域算法仍然不多，同时网络训练阶段易受训练数据和网络结构的制约。下表是一些较为代表性的算法：

虽然深度学习可以有效学习预测光场的深度信息，但目前受制于硬件算力和光场数据资源稀少的问题，算法的最终效果仍然具有提升的额空间，在数据资源一定的前提下，众多学者都致力于提升网络的学习效率，以应对光场中大量信息冗余的问题；例如尝试对光场数据进行预处理，以降低网络需要学习的参数。此外光场中的信息繁杂，能否高效地筛选重要的步伐并抑制不重要的部分，也是影响网络性能和效率的关键。

部分代表性算法结果展示

多视角立体匹配

在这里展示Jeon等人提出的基于相移理论的亚像素多视角立体匹配算法^[2]。该方法的思路是：

将图像转换到频域进行匹配（为了克服基线短的问题）——>匹配代价构建——>构建迭代优化模型——>深度图优化

该方法中，作者一共设计了两种优化模型，一种是多标签优化模型，一种是迭代优化模型，下图是不同方法的结果展示图：

图6 多视角立体匹配结果展示

图a 子孔径图像中心视图，图b 基于初始成本量的深度图，图c 加权均值滤波优化后的深度图，图d 基于多标签优化模型优化后的深度图，图e 迭代优化后的深度图

基于重聚焦的方法

这里展示Tao等人提出的方法，其算法主要是做了2件事情，首先是设计两种深度线索并估计原始深度；之后是进行置信度分析并进行深度融合^[5]；其算法框架以及分步结果如下：

图7 基于重聚焦的算法结构展示图

图8 基于重聚焦的结果展示图

基于EPI的方法

这里展示Wanner等人提出的方法，其方法在借助EPI估计视差的基础之上设计了一种连续的全变分框架，提出了一种结构张量发来估计EPI图像中的斜率，从而生成视差图，其方法假设子孔径图像序列之间的亚像素偏差是固定的，能够快速生成视差图，但是该方法在边缘部分估计误差较大^[9]。下图是不同数据集下的视差估计结果：

 图9 基于EPI的结果展示图 

（图a 为视差背景图，图b 优化钱前的视差图，图c采用全变分框架优化后的视差图；图d、e是像素偏差比例）

基于学习的方法

这里展示比较有代表性的方法——EPINET的网络框架图以及结果；该网络结构的特点是对输入的光场数据进行4个不同角度的堆叠处理，之后将每个角度的特征进行堆叠卷积操作，期望获取不同角度特征之间的关系，最后使用了ConvReLU-Conv结构来获取亚像素级的估计精度^[14]。

图10 网络结构图

图11  EPINET与不同方法的结果对比图

结语

本期光场新知向大家介绍了目前国内外光场深度估计的主流方法，同时各主流方法中选了一个代表性方法进行结果展示；目前国内外基于光场图像进行深度估计的方法依然较少，同时现有方法各有优缺点，希望本期光场新知能够为大家在今后的研究道路上带来些许帮助，如果觉得本期光场新知对您有所帮助，不妨勾勾小指头点个在看点个赞。

参考文献

[1] Yu Z, Guo X, Lin H, et al. Line assisted light field triangulation and stereo matching[C]//Proceedings of the IEEE International Conference on Computer Vision. 2013: 2792-2799.

[2] Jeon H G, Park J, Choe G, et al. Accurate depth map estimation from a lenslet light field camera[C]//Proceedings of the IEEE conference on computervision and pattern recognition. 2015: 1547-1555.

[3] Heber S, Pock T. Shape from Light Field Meets Robust PCA[C]. european conference on computer vision, 2014: 751-767.

[4] Ng, Ren, Levoy, Marc, Duval, Gene,et al. Light Field Photography with a Hand-held Plenoptic Camera[J]. stanford university cstr, 2005.

[5] Tao M W, Hadap S, Malik J, et al. Depth from combining defocus and correspondence using light-field cameras[C]//Proceedings of the IEEE International Conference on Computer Vision. 2013: 673-680.

[6] Williem  W,  Kyu  Park  I.  Robust  light  field  depth  estimation  for  noisy  scene  with occlusion[C]//Proceedings  of  the  IEEE  Conference  on  Computer  Vision  and  Pattern Recognition. 2016: 4396-4404.

[7] Bolles  R  C,  Baker  H  H,  Marimont  D  H.  Epipolar-plane image analysis: An approach to determining structure from motion[J]. International journal of computer vision, 1987, 1(1): 7-55.

[8] Zhang S, Sheng H, Li C, et al. Robust depth estimation for light field via spinning parallelogram operator[J]. Computer Vision and Image Understanding, 2016, 145: 148-159.

[9] Wanner S, Goldluecke B. Variational light field analysis for disparity estimation and super-resolution[J]. IEEE transactions on pattern analysis and machine intelligence, 2013, 36(3): 606-619.

[10] Li  J,  Lu  M,  Li  Z  N.  Continuous  depth  map  reconstruction  from  light  fields[J].  IEEE Transactions on Image Processing, 2015, 24(11): 3257-3265.

[11] Ziegler  R,  Bucheli  S,  Ahrenberg  L,  et  al.  A  Bidirectional  Light  Field ‐ Hologram Transform[C]//Computer Graphics Forum. Oxford, UK: Blackwell Publishing Ltd, 2007, 26(3): 435-446.

[12] Heber S, Yu W, Pock T. Neural EPI-volume networks for shape from light field[C]//Proceedings of the IEEE International Conference on Computer Vision. 2017: 2252-2260.

[13] Johannsen  O,  Sulc A,  Goldluecke  B.  What  sparse  light  field  coding  reveals  about  scene structure[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2016: 3262-3270.

[14] Shin C, Jeon H G, Yoon Y, et al. Epinet: A fully-convolutional neural network using epipolar geometry for depth from light field images[C]//Proceedings  of the IEEE Conference on Computer Vision and Pattern Recognition. 2018: 4748-4757.

[15] Heber S, Pock T. Convolutional networks for shape from light field[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2016: 3746-3754.

本文仅做学术分享，如有侵权，请联系删文。

3D视觉工坊精品课程官网：3dcver.com

1.面向自动驾驶领域的多传感器数据融合技术

2.面向自动驾驶领域的3D点云目标检测全栈学习路线！(单模态+多模态/数据+代码)
3.彻底搞透视觉三维重建：原理剖析、代码讲解、及优化改进
4.国内首个面向工业级实战的点云处理课程
5.激光-视觉-IMU-GPS融合SLAM算法梳理和代码讲解
6.彻底搞懂视觉-惯性SLAM：基于VINS-Fusion正式开课啦
7.彻底搞懂基于LOAM框架的3D激光SLAM: 源码剖析到算法优化
8.彻底剖析室内、室外激光SLAM关键算法原理、代码和实战(cartographer+LOAM +LIO-SAM)

9.从零搭建一套结构光3D重建系统[理论+源码+实践]

10.单目深度估计方法：算法梳理与代码实现

11.自动驾驶中的深度学习模型部署实战

12.相机模型与标定(单目+双目+鱼眼）

13.重磅！四旋翼飞行器：算法与实战

14.ROS2从入门到精通：理论与实战

15.国内首个3D缺陷检测教程：理论、源码与实战

重磅！3DCVer-学术论文写作投稿 交流群已成立

扫码添加小助手微信，可申请加入3D视觉工坊-学术论文写作与投稿 微信交流群，旨在交流顶会、顶刊、SCI、EI等写作与投稿事宜。

同时也可申请加入我们的细分方向交流群，目前主要有3D视觉、CV&深度学习、SLAM、三维重建、点云后处理、自动驾驶、多传感器融合、CV入门、三维测量、VR/AR、3D人脸识别、医疗影像、缺陷检测、行人重识别、目标跟踪、视觉产品落地、视觉竞赛、车牌识别、硬件选型、学术交流、求职交流、ORB-SLAM系列源码交流、深度估计等微信群。

一定要备注：研究方向+学校/公司+昵称，例如：”3D视觉 + 上海交大 + 静静“。请按照格式备注，可快速被通过且邀请进群。原创投稿也请联系。

▲长按加微信群或投稿

▲长按关注公众号

3D视觉从入门到精通知识星球：针对3D视觉领域的视频课程（三维重建系列、三维点云系列、结构光系列、手眼标定、相机标定、激光/视觉SLAM、自动驾驶等）、知识点汇总、入门进阶学习路线、最新paper分享、疑问解答五个方面进行深耕，更有各类大厂的算法工程人员进行技术指导。与此同时，星球将联合知名企业发布3D视觉相关算法开发岗位以及项目对接信息，打造成集技术与就业为一体的铁杆粉丝聚集区，近4000星球成员为创造更好的AI世界共同进步，知识星球入口：

学习3D视觉核心技术，扫描查看介绍，3天内无条件退款

 圈里有高质量教程资料、答疑解惑、助你高效解决问题

觉得有用，麻烦给个赞和在看~