运动估计算法的程序实现_[磕盐Survey-光流估计]

1. Optical Flow Estimation

1.1 Standard Method

(1) 光流简介：

• 在视频中，某个位置的像素点(这个点落在前景物体或者背景)在相邻两帧图像之间的位移矢量 (可近似理解为速度矢量)，如下图-1(相邻的间隔也可以增大)；
• 这个位移矢量的来源有两方面: 相机自身运动与物体自身运动 ( link: 数字相机的成像原理，以及视频的形成原理, 见图-2)；物体在真实世界的三维运动被普通光学相机拍摄下来然后在2D成像平面得到一个由二维图像组成的序列即视频 (丢掉了深度信息，立方体被压扁成矩形，近大远小，透视结构)
• 研究二维光流场的目的：二维图像平面所有像素点的光流构成一个光流场，可以 间接 理解 真实的三维运动场，刻画物体运动的速度大小及方向
• 二维光流场包含的信息: (1)运动速度(大小及方向)，(2) temporal coherent

(2) 对其他任务的帮助: 因为光流描述了 delta pixel, 所以可以用于warp image or feature不是坐标变换，而是直接 x + delta_x 输出新的像素值

• action recognition: 作为一种 input
• video interpolation/prediction: warp image or feature

(3) 稀疏光流与稠密光流：稀疏光流只计算某些特征明显的像素点的运动，而稠密光流计算图像上所有像素点的运动；稀疏光流估计最经典的算法是Lucas-Kanade method (KL), 稠密光流是 Farneback.

• 稀疏光流与稠密光流：稀疏光流只计算某些特征明显的像素点的运动，而稠密光流计算图像上所有像素点的运动；稀疏光流估计最经典的算法是Lucas-Kanade method (KL),
• 一些经典的估计方法-回顾
• 基本理论: 1981年，Horn和Schunck创造性地将二维速度场与灰度 (即将观察对象聚焦到 像素的亮度值的变化，用它做 agent 来间接刻画 像素的运动速度矢量的变化 )相联系，引入光流约束方程，得到光流计算的基本算法。即假设 (1) 同一点的极小位移后的像素亮度不变，并利用 物理里常见的微元法+泰勒级数展开 建立灰度方程; (2) 时间连续或运动是“小运动”。即时间的变化不会引起目标位置的剧烈变化，相邻帧之间位移要比较小, 否则 灰度无法对时间求偏导

(4). 四类方法[5] [10]：基于梯度/基于匹配/基于能量/基于相位, opencv 有上述4类的代表算法实现: (1)Lucas-Kanade, (2)Gunnar Farneback, (3) block matching method, (4) Horn-Schunck,

基于梯度：利用时变图像灰度（或其滤波形式）的时空微分（即时空梯度函数）来计算像素的速度矢量。它的改进就是各种假设，比如全局平滑假设（假设的本质上增加更多方程组，来尽可能约束解）
基于匹配：以目标或者区域的特征为观察对象，进行定位和跟踪
基于能量： 首先要对输入图像序列进行时空滤波处理，这是一种时间和空间整合。对于均匀的流场，要获得正确的速度估计，这种时空整合是非常必要的。然而，这样做会降低光流估计的空间和时间分辨率。尤其是当时空整合区域包含几个运动成分（如运动边缘）时，估计精度将会恶化。此外，基于能量的光流技术还存在高计算负荷的问题。此方法涉及大量的滤波器，目前这些滤波器是主要的计算消费。(所以显然，DL+GPU可以 天然结合 基于能量的方法)
基于相位：Fleet和Jepson首次从概念上提出了相位信息用于光流计算的问题。因为速度是根据带通滤波器输出的相位特性确定的，所以称为相位方法。他们根据与带通速度调谐滤波器输出中的等相位轮廓相垂直的瞬时运动来定义分速度。带通滤波器按照尺度、速度和定向来分离输入信号
[*]一类有趣的仿生学方法-神经动力学方法计算机视觉研究的初衷就是为了模仿人类视觉系统的功能。然而人类理解与识别图像的能力与计算机形成了巨大的反差。视觉科学家们迫切期望借鉴人类处理图像的方法，以摆脱困境。对于光流计算来讲，如果说前面的基于能量或相位的模型有一定的生物合理性的话，那么近几年出现的利用神经网络建立的视觉运动感知的神经动力学模型则是对生物视觉系统功能与结构的更为直接的模拟。Grossberg等人的视觉运动感知神经动力学模型描述了运动感知中视皮层简单细胞、复杂细胞、超复杂细胞以及视网膜双极细胞之间的相互作用，揭示了运动分割与组合、竞争与合作的神经整合机制。这个称为运动边界轮廓系统的神经网络解释了复杂运动图形上的局部模糊运动如何被积极地组织成一个整体一致的运动信号，给出了整体小孔问题的一个解。这个模型对于整体运动方向的判别非常有效，然而它却不能给出运动速度的大小。Fay和Waxman模仿视网膜中的时空处理和大脑的视觉运动通路，基于并联动力学提出了一个多层神经网络，它涉及光适应、边缘增强和边缘速度提取等几个处理阶段。网络中，每个节点的动力学特性类似于具有可变电导的细胞膜，光适应利用神经元间的抑制作用来获取，空间对比度增强借助于一个修正的on-中心/off-周边反馈网络来实现，最后的速度估计由一个称为对传活化法的动力学方程来提取。这个神经网络在一并行机上实现了30帧/秒的帧速下的速度提取。遗憾的是它仅能提供运动边缘的法向速度估计，为了恢复整个模式的光流场，还必须用速度泛函方法将估计的法向流整合成一个致密的光流场。尽管用这些神经动力学模型来测量光流还很不成熟，然而这些方法及其结论为进一步研究打下了良好的基础，是将神经机制引入运动计算方面所做的极有意义的尝试。一并行机上实现了30帧/秒的帧速下的速度提取。遗憾的是它仅能提供运动边缘的法向速度估计，为了恢复整个模式的光流场，还必须用速度泛函方法将估计的法向流整合成一个致密的光流场。

(5). 光流可视化, TODO

1.2 KL method

• Lucas-Kanade 假设流 (1)在所考虑的像素的局部邻域中光流相似，(2)相邻两张图像的同一物体亮度即灰度值不变 ，
  • 第一点描述的是一个小邻域(比如3x3的patch)内的像素的光流矢量是相同的，第二点描述的是在极小的时间间隔内某个像素点仅仅是微弱平移，认为它的像素值不变。
  • 根据第一项可以建立一个 不定方程(一个方程两个未知数, u,v 即 光流矢量的x,y分量)；根据第二项可以在 某个以(x0,y0)为中心的小邻域内对所有像素点都建立第一项的方程，但是解(u,v)是相同的，即 nxn个方程，两个未知数；所以可以解出这个(x0,y0)处的光流值(u,v)
    • 有一处直觉能解释为什么 KL method 只能求 稀疏光流 (从数学上可以从它的矩阵方程多解的角度-矩阵不满秩-不存在唯一解，得到同样结论)
      • 如果计算的点非常稠密，那么小邻域内所有点的亮度都非常相似，几乎没有亮度变化明显的角点，就会出现 光流求解的孔径问题

• • • • 因此，KL method 将选取一些像素点估计光流，这些点是一些亮度变化明显的角点
  • 图像金字塔: 除了基于亮度不变假设和邻域光流相似假设，为了解决图像偏移较大的情况，Lucas-Kanade算法还借助了图像金字塔（Pyramid）的方式，在高层低分辨率图像上，大的偏移将变为小的偏移(相当于大图变小图后帧间差距会被缩小)。最终，Lucas-Kanade方法给出了一种求解稀疏（明显特征的角点）光流的方法。
• 详细原理参见 [3],[6]。[3]比较数学严谨，[6]比较通俗易懂

1.3 Farneback

• insight:
  • 为了解决孔径问题，引入图像金字塔，从而支持稠密光流的估计（但是相比DL 计算速度慢，效果不如DL）
  • 利用多项式对每个像素的邻域信息进行近似表示。
• 参考：
  • https://zhuanlan.zhihu.com/p/89615274
  • https://zhuanlan.zhihu.com/p/129366072

1.4 DL-based method outline

• dataset
• supervised
• unsupervised
• self-supervised
• joint-with other work

2. Dataset and Evaluation Metric

2.1 Dataset

2.2 Evaluation Metric

2,3 Setting

• supervised-based
• unsupervised-based
• joint-with other work
• solve some hard case: occlusion region and boundary
• review figure:

3. Supervised-based

3.1 FlowNet-cvpr2015

• insight: (2)考虑两张图片如何融合信息, (2)short cut (UNet的skip connection)
• network

• • 第一种设计，就是 concat(img1, img2), 然后卷一卷, 加 skip connection
  • 第二种设计，前期单独对 img1, img2 提特征，然后在某个layer 算一个 correlation 作为 weight 来 combine 两个 feature map (这是一种特征融合的方式，更多详见：[8])
  • correlation 的设计思想: (从传统方法找到的启发放到DL，很赞！)
    其中，相关运算借鉴了传统视觉算法中，找图像匹配的思想。为了寻找第一张图中小patch P在第二张图中对应的位置，在下图对应像素位置周围依次滑动，做相关运算（即对应位置像素相乘求和）。得到的值越大，代表越相关，即图像越接近。FlowNetCoor网络中的相关运算类似，不同点是其不在图像本身做相关，在卷积得到的FeatureMap上做相关运算，第一张图片的FeatureMap与第二张图片的FeatureMap对应像素附近区域做相关，上图(u,v)坐标图块与下图对应区域的邻域内（绿框）滑动做相关运算，得到的值在输出FeatureMap通道方向上依次排开，图3-2-4中相关运算的输出通道数为441，即下图做相关运算的邻域范围为 21x21
  • refinent: 几层卷积？

3.2 FlowNet2-cvpr2017

• insight: (1) 考虑不同情况设计多个FlowNet再combine,天然的coarse-to-fine and cascade structure, (2) 重点考虑之前的FlowNet对于small displacement估计不准的缺点, (3) 有趣的训练顺序(作者发现先简单再复杂效果好), (4) 多种信息融合为一个输入, 有信息增强的聚焦效果
• netwotrk

• • FlowNetC 和 FlowNetS 继承自 FlowNet, 主体结构是: FlowNetC-FlowNetS-FlowNetS, 然后再加一个并行的 FlowNet-SD(这个是新增的net)
  • FlowNetC-FlowNetS-FlowNetS 这种顺序，实验排列组合尝试吧，下面并行一个 FlowNet-SD 是为了强调 FlowNet-SD 很重要，所以和上面的 三串联结构并行
  • FlowNetC-FlowNetS-FlowNetS 的后两个 block, 输入上加了trick: 不仅仅是 img1 and img2；因为还有前面模块估计的 flow, 就可以做 warp, 所以 对 img1 or img2 做 warp 得到 一张 warpped image; 然后 (real_img, warpped_image) 可以算个 Error_image
    • 关于 warp based on optical flow, 可以参见 [9]
  • FlowNet-SD 为了解决 FlowNet 对 small displacement 估计光流不准的问题，修改FlowNet中卷积核和stride的大小，使其更适合小偏移。具体的变化为，将FlowNet中7x7和5x5的卷积和改为3x3的卷积核(更小的卷积和意味着更加精细的处理，因此更加适合小偏移估计的问题)，并且将stride=2改为stride=1
  • 最后并行地结合 FlowNetC-FlowNetS-FlowNetS and FlowNet-SD, 作者的方案是: 分别拿 两个模块的 output flow 以及 img1(其实加个 img2 估计也行，反正本质是一个 refine stage and fusion); 同理，也用上 warpped image and Error_image (作者这里又有点不同，我感觉差别不大，都可以，最简单办法就是 input signal 一个个加，直到不能涨点了就不加了，这里的设计，和前面的insight 理论指导设计 不同，是经验主义-实验解释设计)

3.3 SpyNet-cvpr2017

• insight: (1) 分析 FlowNet2的 FlowNetC-FlowNetS-FlowNetS 的 cascade/coasrse-to-fine 的结构，, 直观是三阶段的refine flow, 三个阶段就是依靠 flow 连接起来，但是有两个显然的问题：1-FlowNetC-FlowNetS-FlowNetS 三个 flow 尺寸是相同的，一个直观修改是：由小到大生成, 降低了代价；2-三个 flow 竟然没有通过 short-cut 直接连接做融合，(2) 直接生成变成 base + delta 的思路，所以 base 最容易的就是 上一阶段的输出 flow, 而 delta 就是每个阶段 generator 的输出；(3) 在 (1)中提到的 由小到大生成，刚好对应着 经典cv中的 图像金字塔，所以能很好地 关照 small motion and large motion (因为小图上可以关注大运动，大图上可以关注小运动)；(4) 其他的就是 魔改 input signal了，比如 input x 换成 input x+f(x)+g(x), 与其他信号concat, 但是这种是trick 不算 insight
• network

• 关键问题：相比 FlowNet2, 就是 抛弃了 FlowNet2的并行结构，将 串行结构(FlowNetS-FlowNetC-FlowNetS) 换成了 金字塔结构，（打个比方：FlowNetS-FlowNetC-FlowNetS 是3个相同的圆盘堆起来的，而 SpyNet 是一个3层汉诺塔，小圆盘堆在大圆盘上面）

3.4 PWCNet-cvpr2018 (这是我第一次通过猜测答对了网络设计和loss function)

• insight:
  PWC-net 是2018年 提出的一个光流估计网络，其采用的三个主要组件是图像金字塔(Pyramid)，映射 (Warping) 和匹配代价容量计算 (Cost Volume，类似于 Flownet 的相关性计算)，映射和匹配代价容量计算不需要训练参数，所以可以减少模型参数量。PWC-net 在 1024x436 的视频上做到了视频流实时光流估计（达到35帧每秒），其参数量是 Flownet2.0 的 0.06倍，并且训练策略也更加简单。
  • 首先依旧是Pyramid structure, FPN 是 feature map 上的 pyramid
  • left: 因为要做 warp, 我猜它和MVSNet一样，先假设一个 (其实就是卷积的encoder(img1, img2)输出一个) 极其粗糙的 optical flow candidate O_c, 才能对原图做warp, 约束 image_left 产生loss-1即loss(left, warpped_left)，然后再约束optical flow 产生 loss-2 即 loss(O_{gt}, O_c), 其中 loss-1 是不需要 O-c 的 gt, 是无监督的(即 Energy minimization); 这样就能迭代地优化出最优的 O-c
    • 这个 loss-1 我猜就是 cost volume
  • right(PWCNet): loss-1 变成 (left_feature, warpped_left-feature), loss-2 应该没变还是 optical flow 的监督的重构loss但是 参与的不是 O-c 而是 fusion(left_feature, cost_volume_feature, O-c) 来得到 O-c-gen, 再让它 和 O-{gt} 做 loss(O_{gt}, O_c-gen)
  • finetune layer 一般就是几层卷积，反正没有监督信号，而且finetune 完了之后又能做一个 loss-3: loss(O_finetune, O_{gt})
    • finetune 能work的原因, 就是因为 进入 finetune layer 之前的 O^ 又通过了几层卷积，然后 loss-3 就会 tune 这些 conv-layer, 所以能得到更好的finetune O^ (想清楚 什么是可训练的layer? 用什么 tune 这些 layer? )
• network:

• 关键问题：相比 FlowNet2/SpyNet, 它的进步在哪里呢？
  • 首先FPN-金字塔结构，吸收了KL方法的优点, 其实也是吸收了 SpyNet 的设计，所以可以抛弃了 FlowNet2/SpyNet 的串行结构以及复杂的并行结构，
  • 就相比较 之前的sota 的 FlowNetS 直接 卷一卷用 Loss(gt, gen) 做暴力回归的network architecture，PWCNet 引入了 自监督的loss (就是 loss-1 Loss(real, warp) ), 将 O 作为 agent 来实现自监督训练，从而增强了 卷一卷做回归的 naive network (个人也很喜欢这种 加入 agent 然后自监督训练的方案，而且形成了一个 cycle: imgae 产生 optical flow, optical flow 通过warp 回到 image)
• 为什么速度更快？模型容量更小？

3.5 LiteFlow-CVPR2018 (工程价值很大！动态卷积的学术价值也有！)

• insight: LiteFlownet是2018提出的轻量级光流估计网络。这个网络和PWC-net有很多相似之处，包括图像金字塔和匹配代价容量计算。其特点是参数量比较小，约为 Flownet2.0 的 0.03 倍，速度约 1.4 倍。其与 PWC-net 的主要区别是：对于级联的不同层次的局部特征容量计算，LiteFlownet设置了不同的范围以减小计算量，把计算后的特征通过 子像素修正层 (sub-pixel refinement layer)，用来提升上一级光流结果的精度。同时，为每一级的光流结果构造了一个光流正则化层，起名为特征驱动的局部卷积（Feature-driven Local Convolution），通过当前的图像特征和光流构造位置相关的卷积核以平滑光流结果。
  • 不同的范围：类比MVSNet(CVPR2018)，cost volume 一定指的是 Loss(left_feature, warpped_left_feature), 所以此处用到的 range 应该和 cost volume 有关，做了 缩小范围的操作，具体得读论文细节 (但我猜和 MVSNet 的后续改造差不多)
  • 子像素修正层 (S)：高阶特征的逐像素的匹配会产生粗略的光流，紧接着对于此粗略的光流进行一次refinement，可以把此粗略光流的精度提升至sub-pixel级的精度
  • 光流正则化层 (Feature-driven Local Convolution, R)：类似位置相关的动态卷积核的思路，可以改善异常值(比如遮挡的像素)和模糊边界
• network:

• • M:S 的实现的 insight:

• • Feature-driven Local Convolution 的细节- insight:

• 关键问题：为什么速度更快？模型容量更小？

3.6 IRR-CVPR2019 (文章写的非常详细，像工程实验报告)

• Iterative Residual Refinement for Joint Optical Flow and Occlusion Estimation
• insight: 被遮挡的像素因为开始不可见后面突然出现，所以估计的光流都是错的，之前是方法是不估计这些像素的光流；而本文提出首先估计出被遮挡的光流，然后将 occlusion map 作为 input 输入到 network 来估计 optical flow (相当于隐式地mask掉occlusion region?)
• network:
  • (1) refine 的过渡

• • (2) IPR for FlowNetS (因为IPR是一种 refine strategy, 可以作用于各种network)

• • (3) IPR for PWCNet (去掉了 feature pyramid, 所以节省参数)

• • (4) Total Network

• • (5) 上面最后一个 Upsampling Layer

• • (6) 作者收集了一个 包含 occlusion map 的 dataset

3.7 VCN-NIPS2019

• Volumetric Correspondence Networks for Optical Flow
• insight: 用Conv-4D 做 cost volume，现在 Conv-4D 开始被广泛用于 video task.
• network
  • (1) Conv-4D 计算 cost volume

• • (2) Conv-4D 计算 cost volume

• • (3) pipeline

3.8 MaskFlowNet-CVPR2020 (oral)

• insight: MaskFlownet 是2020年提出的 PWC-net 的一个改进版，其采用了非对称的、结合遮挡掩膜的匹配代价容量计算。主要思路是做匹配代价容量计算时，应当排除那些在一帧中被遮挡的像素。同时，由于第二帧的特征经过了映射，破坏了匹配的对称性，因此，在匹配前，对映射后的第二帧的特征再插入若小运算量的可变卷积（deformable convolution），并加入一个前层网络预测的遮挡掩膜，再和第一帧的特征进行匹配。这个做法显著地提高了 PWC-net 的效果。
  • 这篇主要解决了光流估计中warp中重影的问题，采用网络预估重影将其mask映射出来再遮挡掉重影。
• 作者的讲解：
  • 官方解读: https://blog.csdn.net/dQCFKyQDXYm3F8rB0/article/details/105963072
  • video: https://www.bilibili.com/video/av583128415/ (许燕)
• network
  • (1) motivation: 对被遮挡像素做warp 存在重影问题，比如下面两个人的双手，有一种残影的感觉

• • (2) 其余还没完全看懂。。。TODO

3.9 RAFT-ECCV2020 (best paper，非常有趣)

3.10 Performance Comparison

• 时间
• 指标

4. Unsupervised-based

4.1 MotionNet-2017, UnFlow-2017

• 光流估计看作图像重建问题

4.2 OccAwareFlow-CVPR2018

• 首次通过forward和backward光流来估计Occlusion map，而之前的方法在图像重建损失中忽略这部分信息，所以有效地提升了光流估计算法性能

4.3 DFFlow-AAAI2019

• 腾讯AI Lab提出了DFFlow，通过教师网络学习预测光流标检，在学生网络中人为构建遮挡信息，并利用教师网络中的标签作为真值训练，从而解决了遮挡的真值问题

4.4 MultiFrameOAFlow-ECCV2018

• 利用多帧图像构建occlusion map，从而估计更加准确，性能得到了进一步的提升。

4.5 SeFlow-CVPR2019 (CVPR best paper的提名论文)

• DFFlow的作者团队进一步利用多帧信息融合提出了SeFlow，同时还改进了构建遮挡信息的方式（超像素），性能基本达到了有监督光流算法FlowNet的性能

4.6 EPIFlow-CVPR2019

• PIFlow创新地将几何约束条件引入了到了光流网络，在PWCNet的基础上，将光流估计问题转化为相机中的几何约束问题，显著提升了性能

5. Self-supervised

5.1 Back to Basics: Unsupervised Learning of Optical Flow via Brightness Constancy and Motion Smoothness (ECCV2016 workshop)

• 第一篇self-supervised optical flow estimation, 最简单的 自监督loss: Loss(real_image, warpped_image), 基于能量最小，隐式地优化 optical flow.

5.2 Learning by Analogy: Reliable Supervision from Transformations for Unsupervised Optical Flow (CVPR2020)

• 采用了一种新的自监督信号的合成手段。具体的思路为向模型中输入一个pair的图像，得到forward-backward的光流，这里得到forward-backward光流之后就可以进行传统的warping之后的photometric loss的定义。本文采用的思路为对于一开始输入的image pair以及估计得到的forward-backward flow进行相同的变换，将变换后的image pair重新输入模型中，得到变换之后的image pair的forward-backward flow的结果，接下来将该结果与第一次forward的之后进行变换的forward-backward flow之间进行一个简单的L1 loss的约束(也可以采用SSIM loss之类的)，这样就构造出来新的监督信号啦，可以描述论文主要思想的结构图为：

• 作者定义了三种不同的变换，分别为Spatial Transformation，Occlusion Transformation以及Appearance Transformation。总是实验结果表明，在光流领域这样构建自监督loss的性能是在是好，在KITTI15上将SOTA刷新了好多....(未来赶超难度巨大emmm)。

6. Joint-with Other Work

• RainFlow-ICCV2019, 应对大雨场景
• Representation Flow-CVPR2019, 同时做 action recognition and optical flow estimation
• EFC-AAAI2020, 商汤提出了EFC，通过联合学习视频分割和光流算法，提升了两个任务的性能。(seg_mask 和 optical flow mask 互补，也是符合直觉的)

7. Rethinking

7.1 On the Integration of Optical Flow and Action Recognition (非常好的 re-thinking)

• https://zhuanlan.zhihu.com/p/32663227
• https://zhuanlan.zhihu.com/p/72987763

7.2 how to use optical flow for action recognition explicitly?

• D3D: Distilled 3D Networks for Video Action Recognition (WACV2019, lijing recommendation)

8. Reference

• [1]. https://zhuanlan.zhihu.com/p/44859953
• [2]. https://zh.wikipedia.org/wiki/%E5%85%89%E6%B5%81%E6%B3%95
• [3]. http://image.sciencenet.cn/olddata/kexue.com.cn/upload/blog/file/2010/9/2010929122517964628.pdf
• [4]. https://blog.csdn.net/zouxy09/article/details/8683859
• [5]. https://vision.middlebury.edu/flow/ (传统方法的一个全面细致的总结-解读，推荐)
• [6]. https://zhuanlan.zhihu.com/p/74460341 (写的非常通俗易懂)
• [7]. https://zhuanlan.zhihu.com/p/129366072 https://zhuanlan.zhihu.com/p/89615274 (Gunnar Farneback method)
• [8]. two stream feature fusion strategy (cvpr2015?)
• [9]. image warp based on optical flow 的 科普
• [10]. 光流法的几个假设和基本原理-以及4类方法的科普介绍
• [11]. https://zhuanlan.zhihu.com/p/151741828
• [12]. https://tengfeihou.github.io/2019/05/17/Flow-%E7%9B%B8%E5%85%B3%E6%96%B9%E6%B3%95/
• [13]. https://zhuanlan.zhihu.com/p/205020999
• [14]. https://zhuanlan.zhihu.com/p/205020999
• [15]. https://www.zhihu.com/question/417113431
• [16]. https://www.zhihu.com/question/380119832/answer/1281054024