Edge Video Analytics (1) — Enabling Edge-Cloud Video Analytics for Robotics Applications_edge vision analytics

[1] Wang Y, Wang W, Liu D, et al. Enabling edge-cloud video analytics for robotics applications[J]. IEEE Transactions on Cloud Computing, 2022.

[2] Yiding Wang, Weiyan Wang, Duowen Liu, Xin Jin, Junchen Jiang, Kai Chen.Enabling Edge-Cloud Video Analytics for Robotic Applications[C].IEEE Conference on Computer Communications(INFOCOM),2021.

Abstract:
基于深度学习的视频分析任务需要计算密集型的神经网络和强大的云计算资源来实现高准确度。由于延迟特性和有限的网络带宽，边缘云系统通过自适应地压缩数据以在整体准确性和带宽消耗之间取得平衡。然而，降级的数据导致了另一个问题，即尾部准确率差，这意味着一些语义类和视频帧的准确率极低。自主机器人应用程序特别重视尾部精度性能，但使用先前的边缘云系统会受到影响。本文展示了Runespoor，一种边缘云视频分析系统，用于管理尾部准确性并支持新兴的机器人应用程序。我们训练和部署了超分辨率模型，来显着提高难以检测的类别或复杂帧等分析任务在服务器上的尾部准确性。在线操作过程中，我们使用自适应数据速率控制器，通过根据视频内容即时调整数据速率策略来进一步提高尾部性能。我们的评估表明，Runespoor 将 class-wise tail accuracy 提高了 300%，frame-wise 90%/99% tail accuracy 提高了 22%/54%，并大大提高了整体准确率和带宽权衡。

主要贡献是：
(i) 揭示和定义边缘云视频分析中重要的尾部准确性问题；
(ii)分析感知超分辨率 (ASR)，通过专注于详细信息重建来修复尾部准确性； (iii) 内容感知自适应控制器 (CAC)，在端到端系统中通过 DL 输出适应快速变化的场景。

解决的问题：尾部准确性
尾部准确度问题会在实际场景中导致两个问题：
(i) 逐类尾部准确度会损害一些对应用程序性能至关重要的重要类的准确度。 （如交通指示灯）
(ii) 逐帧的尾部准确性会损害流畅的决策并损害操作。(如自动驾驶决策)

系统设计
Runespoor 是一个边缘云视频分析框架，特别适用于机器人应用程序。提出了两个主要组件：分析感知 SR (ASR) 和内容感知自适应控制器 (CAC)。 图 3 说明了 Runespoor 的工作流程。 边缘设备通过 CAC 自适应压缩高清摄像头拍摄的视频，并将其流式传输到云服务器。 在服务器上，它使用 ASR 重建接收到的数据，然后为 CV 任务运行 DL 推理。 CAC 将 DL 推理结果用于边缘侧数据速率控制。

问题1：SR 可以成为在带宽消耗和整体推理精度之间取得平衡的有效方法，但是尾部精度问题仍然存在。
解决方法：Runespoor 使用了分析感知 SR (ASR) ，它专注于分析任务的详细信息重建。ASR 提高了重构帧的 DL 推理精度，特别是在对质量敏感的小区域和对象上，这些区域和对象对正确检测的质量很敏感。

分析感知损失函数

(SR+ASR) ASR 的关键设计是最大化尾部准确性的分析感知损失函数

进一步优化损失函数，对CloudSeg工作进行改进，对不同数据集设置阈值来划分区域，进而实现最小化尾部准确度。


问题2：解决带宽限制
先前工作存在的问题：

1. 传统控制器在不同带宽约束下学习相似场景数据集的数据速率策略。它的设计目标是处理网络变化而不是频繁的场景变化。因此，它不会检测导致尾部精度低的少数帧并对其做出反应。
2. 定期在线分析（步骤 1）需要额外的带宽消耗（以发送原始数据作为参考）和 DL 计算（用于基线准确性）。因此，AWStream [15] 需要数十秒才能对重要的场景变化做出反应，例如相机移动。如此缓慢的过程无法捕捉机器人应用程序中的“尾帧”，因为新更新的策略已经过时。
   方法：使用内容感知自适应控制器 (CAC) 来使用视频分析结果来立即检测可能导致退化数据（“尾帧”）精度极低的帧，并应用专门的视频旋钮配置以提高尾部准确性。
   
   结果：

§ V-A Runespoor handles tail accuracy. ASR improves 50% to 100% class-wise accuracy by up to 300%, and frame-wise 90% and 99% accuracy by up to 22% and 54%.

§ V-B For the traditional goal, ASR reduces bandwidth consumption and also improves overall inference accuracy.

§ V-C During online operation, CAC instantly reacts to the hard-to-detect and complex frames and further improves tail accuracy. The end-to-end Runespoor system is efficient.


内容感知自适应控制器 (CAC) 用于机器人应用程序的边缘云视频分析的在线操作。 我们使用 Linux 桌面作为边缘设备，使用 4 个 NVIDIA K40m GPU 作为云的本地服务器。 我们使用 Linux tc 实用程序来修改边缘设备的传出带宽以模拟边缘云环境。 Cityscapes 每 30 帧（1.8 秒）只标注 1 帧，VisDrone 也是如此。 我们选择 Cityscapes 数据集来评估 CAC 的场景多样性。 为了模拟真实世界的操作，我们使用一个连续的 20 秒 17 fps 未标记视频剪辑（340 帧）来评估 CAC 在逐帧尾部准确度处理上。 我们使用原始 HR 的 DL 预测作为基线来评估相对帧精度。 我们处理基线并标记被忽略的区域以使其成为 Cityscapes 标签格式。

结论
Runespoor 使自主机器人应用程序能够通过边缘云计算有效地进行高级视频分析。 Runespoor 通过分析感知 SR 从压缩数据中重建详细信息和内容感知自适应控制器来提高尾部准确性，以立即适应快速变化的场景。 我们的结果表明，Runespoor 以最小的带宽消耗成功地提高了尾部精度。