在 FPGA 上通过 2D CNN 进行高效视频理解的 TSM 网络

在这个项目中，将在线和离线 TSM 网络部署到 FPGA，通过 2D CNN 执行视频理解任务。

介绍

在这个项目中，展示了 Temporal-Shift-Module ( https://hanlab.mit.edu/projects/tsm/)在 FPGA 上解决视频理解问题的实用性和性能。

TSM 是一种网络结构，可以通过 2D CNN 有效学习时间关系。在较高级别上，这是通过一次对单个帧（在线 TSM）或多个帧（离线 TSM）执行推理并在这些张量流经网络时在这些张量之间转移激活来完成的。这是通过将shift操作插入 2D 主干网的bottleneck层（在本例中为 mobilenetv2 和 resnet50）来完成的。然后，该shift操作会打乱时间相邻帧之间的部分输入通道。

详细的解析可以看下面的文章：

❝

https://zhuanlan.zhihu.com/p/64525610

❞

将这样的模型部署到 FPGA 可以带来许多好处。首先，由于 TSM 已经在功效方面带来了巨大优势，部署到 FPGA 可以进一步推动这一点。

TSM网络结构

我们将首先回顾这些 TSM 网络的底层结构以及到 DPU 兼容实现的转换。TSM 网络的核心结构是插入骨干模型bottleneck层中的时间shift模块，以实现时间建模。例如，插入shift操作后，TSM Mobilenet