深度学习MEMC插帧论文列表paper list_memc插帧算法 csdn

整理一下深度学习用于运动估计和运动补偿的论文列表。大致按照内容与时间区分。鉴于工作量太大，而且MEMC这块点击量很少，就不介绍文章内容了。
认准原创：https://blog.csdn.net/longshaonihaoa/article/details/125953575

MEMC系列文章：
运动估计运动补偿（Motion estimation and motion compensation，MEMC）入门总结
深度学习MEMC插帧论文列表paper list
光流估计中cost volume详解
插帧中grid_sample函数详解

1、光流估计算法

该类算法只进行光流估计，不进行后续处理。
1.1 FlowNet（ICCV 2015）
lowNet: Learning Optical Flow with Convolutional Networks（被引 2700+）
论⽂地址：https://arxiv.org/abs/1504.06852v2
知乎： https://zhuanlan.zhihu.com/p/37736910

1.2 FlowNet2.0（CVPR2017）
FlowNet 2.0: Evolution of Optical Flow Estimation with Deep Networks
论⽂地址：https://arxiv.org/abs/1612.01925

1.3 Spynet（CVPR2017）
Optical Flow Estimation Using a Spatial Pyramid Network （被引 688）
论⽂ https://arxiv.org/abs/1611.00850
代码 https://github.com/sniklaus/pytorch-spynet/blob/master/run.py
详⻅ https://blog.csdn.net/u010087277/article/details/111593541

1.4 PWCNet（NVIDIA，2018）
论⽂地址：https://arxiv.org/abs/1709.02371
⼯程代码：https://github.com/NVlabs/PWC-Net
介绍：https://blog.csdn.net/u012348774/article/details/112123638

1.5 LiteFlownet(CVPR2018) https://openaccess.thecvf.com/content_cvpr_2018/papers/Hui_LiteFlowNet_A_Lightweigh t_CVPR_2018_paper.pdf (被引 437)
唐晓鸥⼤佬的实验室

1.6 IRR-PWC（CVPR2019）
Iterative Residual Refinement for Joint Optical Flow and Occlusion Estimation（被引137）
论⽂ https://arxiv.org/pdf/1904.05290.pdf

1.7 MaskFlownet(CVPR2020 oral)
Maskflownet: Asymmetric feature matching with learnable occlusion mask (被引 70+)
微软亚洲研究院

1.8 RAFT（ECCV 2020 best paper)
论⽂地址：https://arxiv.org/pdf/2003.12039.pdf
⼯程代码：https://github.com/princeton-vl/RAFT

2、基于光流的视频插帧算法

2.1 Super SloMo（2018）
⼯程代码：https://github.com/avinashpaliwal/Super-SloMo（原论⽂不开源）
论⽂地址：https://arxiv.org/abs/1712.00080

2.2 MEMC-Net （TPAMI19）
Memc-net: Motion estimation and motion compensation driven neural network for video interpolation and enhancement 被引157
论⽂ https://arxiv.org/pdf/1810.08768.pdf
代码 https://github.com/baowenbo/MEMC-Net
讲解 https://zhuanlan.zhihu.com/p/120810121

2.3 DAIN（2019）
⼯程代码：https://github.com/baowenbo/DAIN（已开源）
论⽂地址：https://arxiv.org/pdf/1904.00830.pdf

2.4 ToFlow（IJCV2019）
Video Enhancement with Task-Oriented Flow（被引 520+）
论⽂ https://arxiv.org/pdf/1711.09078.pdf

2.5 QVI（NeurIPS 2019 Spotlight）
Quadratic Video Interpolation
论⽂ https://arxiv.org/pdf/1911.00627.pdf
讲解 https://www.sohu.com/a/361120785_99963310
引⼊加速度概念，解决⾮线性运动ME不准确的问题。

2.6 SoftSplat（CVPR 2020）
Softmax Splatting for Video Frame Interpolation
论⽂ https://arxiv.org/pdf/2003.05534.pdf
代码 https://github.com/JHLew/SoftSplat-Full
讲解 https://www.p-chao.com/2020-03-22/%E8%A7%86%E9%A2%91%E5%B8%A7%E9%97%B 4%E6%8F%92%E5%80%BC%EF%BC%88%E4%B8%80%EF%BC%89softmax-splatting-for-video -frame-interpolation/

2.7 BMBC（ECCV2020）
BMBC:Bilateral Motion Estimation with Bilateral Cost Volume for Video Interpolation
论⽂ https://arxiv.org/pdf/2007.12622.pdf
翻译 https://blog.csdn.net/hahameier/article/details/110732069

2.8 RIFE（ECCV 2022）
Real-Time Intermediate Flow Estimation for Video Frame Interpolation
⼯程代码：https://github.com/hzwer/arXiv2020-RIFE
论⽂地址：https://arxiv.org/pdf/2011.06294.pdf

2.9 ABME（ICCV2021）
Asymmetric Bilateral Motion Estimation for Video Frame Interpolation
论⽂ https://arxiv.org/pdf/2108.06815.pdf
简介 https://hub.baai.ac.cn/view/9262

2.10 XVFI（ICCV 2021 oral）
⼯程代码：https://github.com/JihyongOh/XVFI（已开源）
论⽂地址：https://arxiv.org/pdf/2103.16206.pdf

2.11 ST-MFNet（CVPR2022）
ST-MFNet: A Spatio-Temporal Multi-Flow Network for Frame Interpolation
论⽂ https://arxiv.org/pdf/2111.15483.pdf

2.12 M2M（CVPR 2022）
Many-to-many Splatting for Efficient Video Frame Interpolation
论⽂ https://arxiv.org/pdf/2204.03513.pdf
Splatting讲解 ：https://baike.baidu.com/item/%E6%8A%9B%E9%9B%AA%E7%90%83%E6%B3%95/7 658460

3、 不依赖光流的视频插帧算法

3.1 DVF（ICCV2017 oral）
Video Frame Synthesis using Deep Voxel Flow （被引 500+）
论文https://openaccess.thecvf.com/content_ICCV_2017/papers/Liu_Video_Frame_Synthesis_IC CV_2017_paper.pdf
代码 https://github.com/liuziwei7/voxel-flow

3.2 CAIN（AAAI 2020）
Channel Attention Is All You Need for Video Frame Interpolation （被引 75）
⼯程代码：https://github.com/myungsub/CAIN
论⽂地址：https://ojs.aaai.org/index.php/AAAI/article/download/6693/6547

3.3 FLAVR（CVPR 2021）
⼯程代码：https://github.com/tarun005/FLAVR
论⽂地址：https://www.dropbox.com/s/b62wnroqdd5lhfc/AAAI-ChoiM.4773.pdf?dl=0

4、基于核估计的⽅法

4.1 AdaConv(ICCV 2017)
Video Frame Interpolation via Adaptive Convolution （Niklaus 被引 350）
论⽂ https://openaccess.thecvf.com/content_cvpr_2017/papers/Niklaus_Video_Frame_Interpol ation_CVPR_2017_paper.pdf

4.2 SepConv(CVPR 2017)
Video Frame Interpolation via Adaptive Separable Convolution （Niklaus 被引 488）
论⽂ https://openaccess.thecvf.com/content_ICCV_2017/papers/Niklaus_Video_Frame_Interpol ation_ICCV_2017_paper.pdf

4.3 CyclicGen（AAAI2019）
Deep Video Frame Interpolation using Cyclic Frame Generation
论⽂ https://www.csie.ntu.edu.tw/~cyy/publications/papers/Liu2019DVF.pdf

4.4 AdaCoF（CVPR2020）
AdaCoF: Adaptive Collaboration of Flows for Video Frame Interpolation（被引100+）
论⽂ https://openaccess.thecvf.com/content_CVPR_2020/papers/Lee_AdaCoF_Adaptive_Collab oration_of_Flows_for_Video_Frame_Interpolation_CVPR_2020_paper.pdf
简单讲解 https://its301.com/article/shengshibo_/121325026

4.5 CDFI（CVPR2021）
CDFI: Compression-Driven Network Design for Frame Interpolation
论⽂ https://openaccess.thecvf.com/content/CVPR2021/papers/Ding_CDFI_Compression-Driven _Network_Design_for_Frame_Interpolation_CVPR_2021_paper.pdf
作者主⻚ Tianyu Ding’s Homepage
作者讲解 https://zhuanlan.zhihu.com/p/438912570

4.6 EDSC（TPAMI 2021）
Multiple Video Frame Interpolation via Enhanced Deformable Separable Convolution （被引20）
论⽂ https://arxiv.org/pdf/2006.08070.pdf
代码 https://github.com/Xianhang/EDSC-pytorch

5、基于相位的视频插帧⽅法

5.1 Phase（CVPR 2015）
Phase-Based Frame Interpolation for Video
论⽂ https://www.cv-foundation.org/openaccess/content_cvpr_2015/papers/Meyer_Phase-Bas ed_Frame_Interpolation_2015_CVPR_paper.pdf
代码⻅ https://github.com/owang/PhaseBasedInterpolation

6、其他奇奇怪怪的

6.1 Time Lens
Time Lens: Event-based Video Frame Interpolation
论⽂ https://openaccess.thecvf.com/content/CVPR2021/papers/Tulyakov_Time_Lens_Event-Bas ed_Video_Frame_Interpolation_CVPR_2021_paper.pdf
使⽤ 事件摄像机，并融合 事件 和 光流 进⾏插帧

6.2 Time Lens++（CVPR 2022）
Time Lens++: Event-based Frame Interpolation with Parametric Non-linear Flow and Multi-scale Fus
论⽂ https://arxiv.org/pdf/2203.17191.pdf

6.3 AIM 2019 （ICCVw 2019）
AIM 2019 Challenge on Video Temporal Super-Resolution: Methods and Results
论⽂ https://arxiv.org/pdf/2005.01233.pdf