事件相机自动驾驶数据集整理（持续更新）

本文主要对自动驾驶方向的事件相机数据集进行整理

Event-based Vision Resources

uzh-rpg团队的事件相机资源整理，分类清晰非常全面。
Event-based Vision Resources

---

自动驾驶相关事件相机数据集整理

Datasets from the Sensors group at INI

Datasets from the Sensors group at INI
Institute of Neuroinformatics, Zurich制作的数据集，包含多种数据集。

DDD17

DDD17是第一个使用DAVIS事件+帧相机的公共端到端汽车驾驶训练数据集。它包括汽车数据，如转向、油门、GPS等。该方法可用于评价汽车驾驶应用中框架与事件数据的融合效果。

DDD20

DDD20是第一个公共端到端汽车驾驶训练数据集的扩展版本(数据量是原始DDD17的4倍多)，使用神经形态生物启发硅视网膜事件相机，即由苏黎世苏黎世联邦理工学院神经信息学研究所传感器组开发的DAVIS事件+框架相机。DDD20包括汽车数据，如转向、油门和制动等。该方法可用于评价汽车驾驶辅助应用中框架与事件数据的融合效果。

DVS Benchmark Datasets for Object Tracking, Action Recognition, and Object Recognition

DVS Benchmark Datasets for Object Tracking, Action Recognition, and Object Recognition
本数据报告总结了一个新的基准数据集，其中我们将已建立的用于对象跟踪，动作识别和对象识别的视觉视频基准转换为峰值神经形态数据集，并使用DAVIS相机(Berner et al.， 2013)的DVS输出(Lichtsteiner et al.， 2008)记录。Brandli et al.， 2014)。本报告介绍了我们的传感器校准方法，并在最小的人为干预下将基于帧的视频捕获到神经形态视觉数据集中。我们转换了四个广泛使用的动态数据集:VOT挑战赛2015数据集(Kristan等人，2016)、TrackingDataset3、UCF-50动作识别数据集(Reddy和Shah, 2012)和Caltech-256对象类别数据集(Griffin等人，2006)。最后对数据集进行统计和总结。

Prophesee GEN4 Dataset (Prophesee 1 Megapixel Automotive Detection Dataset)

Prophesee GEN4 Dataset (Prophesee 1 Megapixel Automotive Detection Dataset)
用于Automotive detection的数据集。
数据集被分成了训练、测试和验证文件夹。每个数据文件包含了从较长的录像会话中剪切出的60秒录音。来自单个录像会话的剪切都在同一个训练集中。
每个数据文件是一个二进制文件，其中事件使用4个字节（无符号int32）进行时间戳编码，另外4个字节（无符号int32）用于数据编码，编码方式为小端序。
数据由14个位表示x位置，14个位表示y位置，还有1个位表示极性（编码为-1或1）。

A Large Scale Event-based Detection Dataset for Automotive

A Large Scale Event-based Detection Dataset for Automotive
我们为事件相机引入了第一个非常大的检测数据集。该数据集由304x240 ATIS传感器获得的超过39小时的汽车记录组成。它包含开放的道路和非常多样化的驾驶场景，包括城市，高速公路，郊区和乡村场景，以及不同的天气和照明条件。录音中包含的车辆和行人的手动边界框注释也以1到4Hz的频率提供，总共产生超过25.5万个标签。我们相信，这种规模的标记数据集的可用性将有助于基于事件的视觉任务的重大进展，如物体检测和分类。我们还期望在其他任务中也有好处，比如光流、运动结构和跟踪，例如，自监督学习方法可以利用大量数据。

MVSEC The Multi Vehicle Stereo Event Camera Dataset

MVSEC The Multi Vehicle Stereo Event Camera Dataset
多车辆立体事件相机数据集是一个用于开发基于事件相机的新型3D感知算法的数据集。立体事件数据是从汽车、摩托车、六旋翼无人机和手持设备的数据中收集的，并与激光雷达、惯性测量单元(IMU)、运动捕捉和GPS数据融合，以提供地面真实姿态和深度图像。此外，我们还提供了来自标准立体相机的图像，以与传统技术进行比较。

基于事件的相机是一种新的异步感知模式，用于测量图像强度的变化。当像素上的对数强度变化超过设定的阈值时，相机会立即返回变化的像素位置，以及具有微秒级准确度的时间戳和变化的方向(向上或向下)。这允许以极低的延迟进行感知。此外，这些相机具有极高的动态范围和低功耗。

DSEC: A Stereo Event Camera Dataset for Driving Scenarios

DSEC: A Stereo Event Camera Dataset for Driving Scenarios
曾经是学术冒险的自动驾驶在过去的十年中获得了前所未有的企业资金支持。然而，目前自动驾驶汽车的操作条件大多局限于理想情况。这意味着在夜晚、日出和日落等具有挑战性的照明条件下驾驶仍然是一个悬而未决的问题。在这些情况下，标准相机在低光和高动态范围性能方面受到了极限的挑战。为了应对这些挑战，我们提出了DSEC，一个包含了这些苛刻照明条件并提供丰富感知数据的新数据集。DSEC提供了来自两个彩色帧相机和两个高分辨率单色事件相机的宽基线立体设置的数据。此外，我们还收集了激光雷达数据和RTK GPS测量数据，这些数据与所有相机数据进行了硬件同步。这个数据集的一个显著特点是包含了高分辨率事件相机。事件相机因其高时间分辨率和高动态范围性能而受到越来越多的关注。然而，由于其新颖性，驾驶场景中的事件相机数据集很少见。这项工作介绍了第一个带有事件相机的高分辨率大规模立体数据集。该数据集包含53个序列，这些序列在各种照明条件下进行驾驶，并为事件立体算法的开发和评估提供了地面真实视差数据。

High Speed and High Dynamic Range Video with an Event Camera

High Speed and High Dynamic Range Video with an Event Camera

其中包含一个Driving Event Camera Datasets

以下驾驶数据集由一台VGA（640x480）事件相机（Samsung DVS Gen3）和一台常规RGB相机（Huawei P20 Pro）组成，它们安装在一辆行驶在苏黎世的汽车的挡风玻璃上。

我们将所有事件序列提供为二进制rosbag文件，可与机器人操作系统（ROS）一起使用。格式与RPG DVS ROS驱动程序使用的格式相同。rosbag文件包含使用dvs_msgs/EventArray消息表示的事件。

Combined Dynamic Vision / RGB-D Dataset

Combined Dynamic Vision / RGB-D Dataset

包括事件相机和RGB-D相机采集的数据

该数据集包括来自D-eDVS（一种深度增强的嵌入式动态视觉传感器）的三种数据流（彩色、深度、事件）的记录，以及来自外部跟踪系统的相应地面真实数据。

该数据集包含5个场景，共26个镜头。每个镜头对应一条路径，持续时间为20到60秒不等。对于每个镜头，提供了以下数据：

events.tsv：一个TSV文件，每行对应一个事件。提供的数据包括：PrimeSense图像坐标（x、y）、PrimeSense深度测量、EDVS图像坐标（x、y）、时间戳（以微秒为单位）、EDVS奇偶标志。
events_pe.tsv：一个TSV文件，每行对应一个3D点事件。提供的数据包括：时间戳（微秒）、相机坐标中的3D点（x、y、z）。
gt.bvh：外部跟踪系统的地面真实数据，以BVH运动跟踪文件格式存储。
depth（文件夹）：深度帧的文件夹。每帧保存为一个文件。帧以行主序格式的二进制转储形式存储。对于每个像素，存储一个16位整数，表示像素深度。
rgb（文件夹）：彩色帧的文件夹。每帧保存为一个文件。帧以行主序格式的二进制转储形式存储。对于每个像素，存储三个8位整数，表示像素的红色、绿色和蓝色颜色值。

Event-based Moving Object Detection and Tracking

Event-based Moving Object Detection and Tracking

不是直接针对自动驾驶的数据集，但是用于物体检测跟踪

基于事件的视觉传感器，如动态视觉传感器（DVS），非常适合于实时运动分析。这类传感器的读数具有独特的特性，提供高时间分辨率、对光线的高灵敏度和低延迟。这些特性为在最复杂的场景中极其可靠地估计运动提供了基础，但代价是现代基于事件的视觉传感器具有极低的分辨率并产生大量噪声。此外，事件流的异步性质需要新颖的算法。本文提出了一种新的、高效的用于异步相机目标跟踪的方法。我们提出了一种新颖的事件流表示，使我们能够在每个时刻利用事件流的动态（时间）成分信息，而不仅仅是空间成分。这是通过用参数模型逼近事件流的三维几何来实现的；因此，该算法能够产生运动补偿的事件流（实际上近似估计了自身运动），并且在极低光和嘈杂条件下，无需使用任何形式的外部传感器，也无需进行任何形式的特征跟踪或显式光流计算。我们在独立运动检测和跟踪任务上演示了我们的框架，其中我们利用时间模型的不一致性来在极快速运动的挑战性情况下定位不同移动的物体。

DVS-OUTLAB: A Neuromorphic Event-Based Long Time Monitoring Dataset for Real-World Outdoor Scenarios

DVS-OUTLAB: A Neuromorphic Event-Based Long Time Monitoring Dataset for Real-World Outdoor Scenarios
在这种背景下，发展基于事件的视觉应用可能面临的一个障碍是算法开发和评估的标注数据集不足。因此，我们描述了基于事件相机（DVS）的城市公共区域的长时间监控录制设置，并提供了带有标签的DVS数据，这些数据还包含了在此过程中记录的环境户外影响效应。我们还描述了用于标签生成的处理链，以及利用各种时空事件流滤波器进行去噪基准测试的结果。

该数据集包含近7小时的真实世界户外事件数据，涵盖了约47,000个感兴趣区域的标签，并可在http://dnt.kr.hsnr.de/DVS-OUTLAB/上下载。

Prophesee’s N-CARS dataset, a large real-world event-based car classification dataset.

Prophesee’s N-CARS dataset, a large real-world event-based car classification dataset
N-CARS数据集是一个用于汽车分类的大型真实世界事件数据集。它由12,336个汽车样本和11,693个非汽车样本（背景）组成。

这些数据是使用安装在汽车挡风玻璃后面的ATIS相机录制的。数据从各种驾驶会话中提取而来。

数据集分为7940个汽车和7482个背景的训练样本，以及4396个汽车和4211个背景的测试样本。每个样本持续时间为100毫秒。