视频超分：iSeeBetter（ Spatio-temporal video super-resolution using recurrent generative back-projecti...）_超分 视频感知

论文：iSeeBetter：使用递归生成反投影网络的时空视频超分
文章检索出处： 2020 arXiv
读后感：本文模型使用RBPN作为生成器，SRGAN的判别器作为判别器。使用了四个损失函数。有关RBPN模型的内容详见之前的文章：视频超分：RBPN（Recurrent Back-Projection Network for Video Super-Resolution）

摘要和简介

本文提出一种基于GAN的视频超分方法—iSeeBetter。创新点如下：

1. 结合SOTR方法：RBPN+SRGAN。RBPN可以更好的从邻近帧中提取细节，SRGAN可以生成更真实和吸引人的帧，同时消除传统算法的伪影。
2. 优化损失函数：采用了四个损失函数(MSE，感知，对抗，全变差(TV))来获得更好的结果
3. 扩展评价方案：Vid4和SPMCS缺乏重要的运动序列，故我们添加Viemo90K—一个包含各种运动的数据集，去进行更加全面的评估。此外，数据集扩充为170,000个片段。
4. 用户友好的架构：在训练好的模型上运行预定义的基准序列。此外，模型可以直接将视频作为输入，而不是帧序列。代码已在github上开源：https://iseebetter.amanchadha.com/。

模型

数据集

使用双三次插值进4倍下采样，训练/验证/测试分别为80%/10%/10%。数据集摘要如下图：

网络架构

输入$L{R}_t$帧、相邻帧和光流的输出帧，RBPN作为一个生成器负责生成$S{R}_t$帧。然后将生成的$S{R}_t$馈入到SRGAN鉴别器网络中去验证真实性。

损失函数

1. MSE损失：MSE损失也称内容损失，其中$G_{\theta G}$($L{R}_t$)代表的是$S{R}_t$。

2. 感知损失：依赖于从VGG-19模型中提取特征，感知损失定义为SR特征和真实帧特征的欧氏距离。它更侧重于感知相似度而不是像素空间的相似度。

其中$VG{G}_{i,j}$表示第$i^{th}$个池化层之前$j^{th}$卷积（激活后）的特征图。
3. 对抗损失： 我们最小化$-log(D_{\theta D}(G_{\theta G}(L{R}_t)))$而不是$log(1-D_{\theta D}(G_{\theta G}(L{R}_t)))$去获得更好的梯度行为。

4. 全变差损失(TV)： 定义为相邻像素在水平和垂直方向的绝对差之和。由于TV测量输入的噪声，将它最小化作为我们整体损失的一部分，可以帮助去噪输出的SR图像，从而使空间平滑。定义如下。

生成器的损失如下。
其中$\alpha ,\beta ,\gamma ,\delta$的权重为1，6 x $10^{-3}$，$10^{-3}$，2 x $10^{-8}$。鉴别器的损失如下。

总的损失为:

实验评估

消融实验，验证本文架构的正确性：

不同模型的量化评估：

细节图对比：
仅供学习使用，请勿转载。