SlowFast学习_为什么slowfast实际效果不好

SlowFast简介

尽管图像分类的准确率已经很高，视频分类工作的准确度也仍达不到近似于人类的理解层次，因此不能用传统的卷积分类方法来对视频进行分类，于是Facebook的AI研究团队提出了一种新方法来SlowFast分析视频片段里的内容。该方法受启发于人类视网膜神经元的工作机制，使用了一个快通道来分析视频中人类的动作，还有一个慢通道来识别视频中人物活动的背景。

SlowFast工作原理

SlowFast卷积原理

上图是SlowFast网络的工作原理。卷积核的尺寸记作{T×S², C}，其中T、S和C分别表示时序， 空间和频道的尺寸。速度比率(跳帧率) 为α，代表Fast通道帧率为Slow通道的α倍，频道比率为β，代表Fast通道的卷积核个数为Slow通道的1/β。
快慢通道进行多轮卷积、池化和侧向连接之后送入一个全连接层，该层使用softmax得出预测结果。

侧向连接

每一轮卷积之后，Fast通道要把提取好的动作特征融合到Slow通道中，这样子Slow通道在下一轮卷积中就可以分别按顺序提取背景特征和动作特征，用于更好地识别人物的动作，但是两个特征矩阵的大小并不一致，论文中给出了三种融合策略：

1.将Fast通道的{αT, S², βC} 特征矩阵变形转置为 {T , S², αβC}，就是说把α帧压入一帧

2.简单地每隔α帧进行采样，{αT , S², βC} 就变换为 {T , S², βC}

3.用一个5×1^2的卷积核对Fast通道的特征矩阵进行3D卷积操作，输出时间维度与Slow通道一致的特征矩阵并进行拼接

SlowFast网络实例

上图为一个SlowFast网络实例，在拿到一个视频时，要先对其进行抽帧操作，使其分为Slow和Fast两个通道的数据，然后分别对两个通道的数据进行卷积，并进行侧向连接，为了减少模型训练过程中的过拟合现象，后几层网络采用resnet网络进行卷积操作。