【数据集（1）】无人驾驶数据库数据集汇总（不断更新）_自动驾驶数据集

20230221：增加表格：《nuScenes与其他数据集的对比》，稀少目标数据集ROD Rare object dataset

1.0自动驾驶数据集

目前，全球主流的自动驾驶测试数据集包括Cityscapes、Imagenet（ILSVRC）、COCO、PASCAL VOC、CIFAR、MNIST、KITTI、LFW等。

1.1 KITTI 数据库

KITTI是由德国卡尔斯鲁厄理工学院和丰田芝加哥技术研究院于2012年联合创办，是目前国际上最大的自动驾驶场景下的计算机视觉算法评测数据集。

KITTI用于评测3D目标（机动车、非机动车、行人等）检测、3D 目标跟踪、道路分割等计算机视觉技术在车载环境下的性能。

KITTI包含市区、乡村和高速公路等场景采集的真实图像数据，每张图像中多达15辆车和30个行人，还有各种程度的遮挡。

1、Visual Odometry / SLAM Evaluation 2012 ——22GB
http://www.cvlibs.net/datasets/kitti/eval_odometry.php

修订：20200410

1.1.1传感器

• 2 ×PointGray Flea2 grayscale cameras (FL2-14S3M-C), 1.4 Megapixels, 1/2” Sony ICX267 CCD, global shutter
• 2 × PointGray Flea2 color cameras (FL2-14S3C-C), 1.4 Megapixels, 1/2” Sony ICX267 CCD, global shutter
• 4 × Edmund Optics lenses, 4mm, opening angle ∼ 90◦, vertical opening angle of region of interest (ROI) ∼ 35◦
• 1×Velodyne HDL-64E rotating 3D laser scanner, 10 Hz, 64 beams, 0.09 degree angular resolution, 2 cm distance accuracy, collecting ∼ 1.3 million points/second, field of view: 360◦ horizontal, 26.8◦ vertical, range: 120 m
• 1 × OXTS RT3003 inertial and GPS navigation system, 6 axis, 100 Hz, L1/L2 RTK, resolution: 0.02m / 0.1◦

1.1.2坐标系

Camera: x = right, y = down, z = forward •
Velodyne: x = forward, y = left, z = up
GPS/IMU: x = forward, y = left, z = up

表示法：在下面，我们用小写字母（ $a$）写标量，用bold lower-case 小写字母（ $\mathbf{a}$ ）写矢量，并使用粗体大写字母（$\mathbf{A}$）写矩阵。

将点从坐标系a转换到坐标系b的3D刚体变换将用$T_a^b$表示，其中T表示“变换”。

1.1.3 时间戳

时间戳记存储在timestamps.txt中，而每帧传感器读数在相应的数据子文件夹中提供。 timestamps.txt中的每一行都由以小时，分钟和秒为单位的日期和时间组成。

由于Velodyne激光扫描仪具有“旋转快门”，为此传感器提供了三个时间戳文件

一个用于laser旋转的开始位置（timestamps_start.txt），
一个用于laser旋转的结束位置（timestamps_end.txt），

在这段时间内，laser 朝前并触发camera相机（timestamps.txt）。

1.1.4 同步

A.同步为了同步传感器，我们使用Velodyne 3D激光扫描仪的时间戳作为参考，并将每次旋转视为一帧。

我们在连续旋转的扫描仪底部安装了一个簧片触点，当面向前方时会触发相机。

这样可以最大程度地减少由动态物体引起的距离和图像观察差异。 不幸的是，GPS / IMU系统无法以这种方式同步。

取而代之的是，由于它提供了100 Hz的更新，因此我们针对特定帧收集了与激光扫描仪时间戳最接近的时间戳信息，从而导致GPS / IMU与相机/ Velodyne数据包之间的最差时间差为5 ms。

注意，提供所有时间戳，以便可以随时通过插值轻松获得定位信息。 所有时间戳都已使用系统时钟记录在我们的主机上。

1.1.5相机校准

B.摄像机校准为了对摄像机进行内在和外在校准，
我们使用[11]中提出的方法。
A. Geiger, F. Moosmann, O. Car, and B. Schuster, “A toolbox for automatic calibration of range and camera sensors using a single shot,” in ICRA, 2012.

请注意，所有相机中心均对齐，即它们位于同一x / y平面上。
这很重要，因为它使我们可以共同校正所有图像。

Here, i ∈{0,1,2,3} is the camera index, where 0 represents the left grayscale, 1 the right grayscale, 2 the left color and 3 the right color camera.

请注意，变量定义与OpenCV库兼容，
我们用来扭曲图像。

在处理同步和整流的数据集时，只有带有rect-下标的变量才是相关的。

请注意，由于枕形失真效应，图像已被裁剪，以使整流图像的尺寸小于原始尺寸1392×512像素。

1.1.6图像

a）图像：彩色和灰度图像均使用8位PNG文件进行无损压缩存储。 引擎盖和天空区域已被裁剪。 为了简化数据处理，我们还提供了经过整流的图像。 校正后图像的大小取决于校准参数，平均约为0.5 Mpx。 校正前的原始图像也可用。

1.1.7投影计算

校正后的（旋转）摄像机坐标中的3D点x =（x，y，z，1）T投影到第i个摄像机图像中的点y =（u，v，1）T的投影为

第i个投影矩阵。在此，$b_x^{(i)}$表示相对于参考摄像机0的基线（以米为单位）。

请注意，为了将参考相机坐标中的3D点x投影到第i个图像平面上的点y，
还必须考虑参考摄像机$R_{rect}^{(0)}$的矫正旋转矩阵：

在这里，$R_{rect}^{(0)}$通过添加第四行零行和列而被扩展为4×4矩阵，
并设置$R_{rect}^{(0)}$（4,4）= 1。

1.1.8GPS

b）OXTS（GPS / IMU）：对于每一帧，我们在文本文件中存储30个不同的GPS / IMU值：地理坐标，包括高度，全球方向，速度，加速度，角速度，精度和卫星信息。

加速度和角速度都使用两个坐标系指定，

一个连接到车体（x，y，z）的位置，一个映射到该位置（f，l，u）的地球表面切线的位置。

我们不时遇到与OXTS设备的短暂通信中断（约1秒），为此我们对所有值进行线性插值并将最后3个条目设置为“ -1”以指示丢失的信息。 在dataformat.txt中提供了更多详细信息。 开发工具包中提供了转换实用程序。

1.1.9 Velodyne and IMU Calibration

相对于参考摄像机坐标系（摄像机0）
使用[11]初始化刚体变换
得到了套准的Velodyne激光雷达

接下来，我们优化了错误准则
基于50个手动选择的对应关系的欧几里得距离
以及针对KITTI双目基准测试中3个表现最佳的双目方法的视差误差的可靠度量[8]。

使用Metropolis-Hastings抽样进行了优化。

从Velodyne坐标到相机坐标的刚体转换givenin calib_velo_to_cam.txt：

相对于Velodyne激光雷达
套准GPS

首先用“∞”循环记录一个序列，并用ICP算法记录（未扭曲的）点云。

给定两条轨迹，该问题对应于可以使用标准工具解决的的hand-eye calibration problem 手眼校准问题[12]。
R. Horaud and F. Dornaika, “Hand-eye calibration,” IJRR, vol. 14, no. 3, pp. 195–210, 1995.

旋转矩阵Rvelo imu和平移矢量tvelo imu存储在calib_imu_to_velo.txt中。

IMU / GPS坐标中的3D点x被投影到第i张图像中的点y，如下所示：

1.1.9激光雷达

c）Velodyne：为了提高效率，Velodyne扫描存储为浮点二进制文件，可使用提供的C ++或MATLAB代码轻松解析。

每个点都存储有其（x，y，z）坐标和一个附加的反射值（r）。

虽然每个扫描点的数量不是恒定的，但平均每个文件/帧的大小约为1.9 MB，相当于约120,000个3D点和反射值。 请注意，Velodyne激光扫描仪绕其垂直轴（逆时针）连续旋转，可以使用时间戳文件将其考虑在内

1.1.10Development Kit

带C++ wrappers 的MATLAB演示代码,还有一个提供更多详细信息的readme.txt文件。

在运行脚本之前，
mex wrapper读取为’TrackletsMex.cpp，用于将Tracklet读取到MATLAB结构中，和单元格数组需要使用脚本make.m构建。
它包装了ctrack文件夹中的文件tracklets.h，该文件夹保存了tracklet对象以进行序列化。
在C ++环境中工作时，该文件也可以直接与之交互。

脚本run_demoTracklets.m演示了如何从XML文件读取3D边界框小轨迹。
并投影到摄像机的图像平面上。

在run_demoVelodyne.m中演示了3D Velodyne点云到图像平面的投影。 图示见图6。

脚本run_demoVehiclePath.m显示了如何使用GPS / IMU数据读取和显示3D车辆的轨迹。

它利用convertOxtsToPose（）作为输入，将GPS / IMU测量值作为输入并输出车辆在欧几里得空间中的6D姿态。

对于此转换，我们使用Mercator projection

函数loadCalibrationCamToCam（）可用于读取四个视频传感器的内部和外部校准参数。
可以使用loadCalibrationRigid（）解析其他3D刚体转换。

1.1.10基准测试

除了原始数据外，我们的KITTI网站还为几种计算机视觉和机器人任务（如立体声，光学流，视觉里程表，SLAM，3D对象检测和3D对象跟踪）提供了评估基准。 有关基准和评估指标的详细信息，请读者参考
A. Geiger, P. Lenz, and R. Urtasun, “Are we ready for autonomous driving? The KITTI vision benchmark suite,” in CVPR, 2012.

1.1.11 kitti 数据集的标注解释

https://blog.csdn.net/Solomon1558/article/details/70173223

为了理解标注文件各个字段的含义，需要阅读解释标注文件的readme.txt文件。该文件存储于object development kit (1 MB)文件中，readme详细介绍了子数据集的样本容量，label类别数目，文件组织格式，标注格式，评价方式等内容。下面介绍数据格式的label描述：

注意，’DontCare’ 标签表示该区域没有被标注，比如由于目标物体距离激光雷达太远。为了防止在评估过程中（主要是计算precision），将本来是目标物体但是因为某些原因而没有标注的区域统计为假阳性(false positives)，评估脚本会自动忽略’DontCare’ 区域的预测结果。

1.2 Cityscapes

Cityscapes是由奔驰与2015年推出的，提供无人驾驶环境下的图像分割数据集。用于评估视觉算法在城区场景语义理解方面的性能。

Cityscapes包含50个城市不同场景、不同背景、不同季节的街景，提供5000张精细标注的图像、20000张粗略标注的图像、30类标注物体。用PASCAL VOC标准的 intersection-over-union（IoU）得分来对算法性能进行评价。

Cityscapes是目前公认的自动驾驶领域内最具权威性和专业性的图像语义分割评测集之一，其关注真实场景下的城区道路环境理解，任务难度更高且更贴近于自动驾驶等热门需求。

1.3 ILSVRC

ILSVRC也就是通常所说的Imagenet数据集，是美国斯坦福的计算机科学家李飞飞模拟人类的识别系统建立的。

它是目前深度学习图像领域应用较多的一个数据集，关于图像分类、定位、检测等研究工作大多基于此数据集展开。Imagenet数据集有1400多万幅图片，涵盖2万多个类别；其中有超过百万的图片有明确的类别标注和图像中物体位置的标注。

1.4 COCO

COCO（common objects Dataset）数据集，它由微软赞助，除了基本的图像的标注信息外，还有对图像的语义文本描述，COCO数据集的特点是开源，这使得它在近三来在图像分割语义理解领域取得了巨大的进展，Google的开源show and tell生成模型就是在此数据集上测试的。

1.5 PASCAL VOC

PASCAL VOC是视觉对象的分类识别和检测的一个基准测试，提供了检测算法和学习性能的标准图像注释数据集和标准的评估系统。

虽然它在2012年后便不再举办，但其数据集图像质量好，标注完备，非常适合用来测试算法性能。

1.6 CIFAR

CIFAR（Canada Institude For Advanced Research）包括CIFAR 10和CIFAR 100两个数据集，它们被标记为8000万个微型图像数据集的子集。
这些数据集是由Vinod Nair、Alex Krizhevsky和Geoffrey Hinton收集的。CIFAR对于图像分类算法测试来说是一个非常不错的中小规模数据集。

1.7 MNIST

MNIST（THE MNIST DATABASE of handwritten digits）号称深度学习领域的“Hello World!”，是一个手写的 数字数据集。当前主流深度学习框架几乎无一例外将MNIST数据集的处理作为介绍及入门第一教程。

1.8 nuTonomy【新发布自动驾驶数据集】

它声称其规模和精确度超过了KITTI、百度的ApolloScape和Udacity自动驾驶汽车数据集等公共数据集。，是因为此次数据搜集使用了6个摄像头、1个激光雷达、 5个毫米波雷达、GPS及惯导系统，包括对于自动驾驶系统有挑战性的复杂道路、天气条件等。

https://www.nuscenes.org/

NuTonomy编辑了1000多个场景，其中包含140万幅图像、40万次激光雷达扫描（判断物体之间距离）和110万个三维边界框（用RGB相机、雷达和激光雷达组合检测的物体）。

采集城市

数据集包含1000个驾驶场景（城市是波士顿和新加坡），每个场景20s（from 15h data），其中850个场景是训练和验证数据，150个场景是测试数据。之所以在这两个城市采集数据，是因为：

数据量

以2Hz（1s两个关键帧）的频率标注了23类目标的3D框（世界坐标系下），整个数据集包含1.4M张camera图像，390k个lidar sweep，1.4M个Radar sweep，以及1.4M个3D框。

传感器

6个camera、1个lidar、4个radar、GPS、IMU。因此和以前那些以camera为主的公开数据集不同，NuScenes注重“多传感器”，也更加“面向自动驾驶”。

使用两辆具有相同传感器布局的雷诺Zoe汽车在波士顿和新加坡开车，收集数据。有关传感器的位置，请参阅上图。传感器发布数据如下：

1x旋转激光雷达：

20Hz捕获频率
32个频道
360°水平视场，+ 10°至-30°垂直视场
80m-100m范围，可用返回70米，精度±2厘米
每秒高达~139百万点
1
2
3
4
5

5倍长距离雷达传感器：

用于77GHz
13Hz捕获频率
使用调频连续波在一个周期内独立测量距离和速度
距离最远250米
速度精度为±0.1 km / h
1
2
3
4
5

san6x相机：

12Hz捕获频率
1 / 1.8英寸CMOS传感器，1600x1200分辨率
Bayer8格式，每像素1字节编码
1600x900 ROI从原始分辨率中裁剪，以减少处理和传输带宽
曝光时间限制为最大20 ms的自动曝光
图像被解压缩为BGR格式并压缩为JPEG
1
2
3
4
5
6

1.8.1 专业术语和数据格式

用一个关系型数据库存储各种数据，schema如下图所示：

1.scene场景-汽车行程的20秒
2.sample-在特定时间戳记下场景的带注释的快照。
3.sample_data-从特定传感器收集的数据。
4.sample_annotation-我们感兴趣的对象的带注释实例。
5.instance-我们观察到的所有对象实例的枚举。
6.category-对象类别（例如车辆，人）的分类法。
7.attribute-实例的属性，在类别保持不变的情况下可以更改。
8.visibility-从6个不同的相机收集的所有图像中可见像素。
9.sensor-特定的传感器类型。
10.calibrated sensor -在特定车辆上校准的特定传感器的定义。
11.ego_pose-自我车辆在特定时间戳下摆姿势。
12.log-从中提取数据的日志信息。
13.map-从顶向下视图存储为二进制语义掩码的地图数据。

1.8.2 下载的数据的含义

samples - Sensor data for keyframes.关键帧的传感器数据。
sweeps - Sensor data for intermediate frames.中间帧的传感器数据。
maps - Folder for all map files: rasterized .png images and vectorized .json files.
v1.0-* - JSON tables that include all the meta data and annotations. Each split (trainval, test, mini) is provided in a separate folder.

1.8.3 标定

外参均定义为相对于自车后轴中心点的位移和旋转：

• Lidar外参：直接测；
• Camera外参：先算camera-to-lidar的变换矩阵，再结合lidar-to-ego的变换矩阵，就能到的camera的外参；
• Camera内参：使用标定板来计算内参和畸变参数。

1.8.4地图数据 的Layers¶

Our map database consists of multiple layers. Where each layer is made up of records. Each record will have a token identifier.
地图数据包含多个语义层，每一个语义层组成了记录集合，记录集合有一个token ID。

Let us look more closely at the different map layers:

['polygon',
 'line',
 'node',
 'drivable_area',
 'road_segment',
 'road_block',
 'lane',
 'ped_crossing',
 'walkway',
 'stop_line',
 'carpark_area',
 'road_divider',
 'lane_divider',
 'traffic_light']
1
2
3
4
5
6
7
8
9
10
11
12
13
14

将看到地图图层分为两种类型的图层。

• 一组图层属于geometry_layers组，
• 另一组图层属于non_geometric_layers组。

1.geometric_layers在地图中定义几何实体：

• [‘polygon’, ‘line’, ‘node’]
• Nodes (2d points) 节点（2d点）
• Lines consist of two or more nodes.
• Polygons consist of three or more nodes. 多边形由三个或更多节点组成。

2 non_geometric_layers表示地图中的物理实体physical entities in the map。

• 它们具有多个几何特征，但必须严格属于一种类型
• They can have more than one geometric representation (such as drivable_areas), but must be strictly of one type (e.g. road_segment, lane_divider).

---

1.8.5 geometric layers

a. Node¶
地图数据库中最原始的几何记录。 这是唯一明确包含空间坐标的图层。

{'token': 'fd8b8cb1-d457-4dc7-a999-c528feb6cac1',
 'x': 220.69979290704603,
 'y': 922.5882595515009}
1
2
3

b. Line
定义一个或多个线的线序列，因此由两个或多个节点组成。

{'token': '19f89773-f466-4d21-a583-4a963e6fe042',
 'node_tokens': ['ee2752d0-5fc9-495c-aa4b-fc24f703db1b',
  '48b2f4ea-9781-4cf2-82ff-624267be98d6',
  '9995a31d-089b-45f1-81ec-11925d17dbda']}
1
2
3
4

c. Polygon
每个多边形记录都包含一个外部节点列表

• dict_keys([‘token’, ‘exterior_node_tokens’, ‘holes’])

sample_polygon['exterior_node_tokens'][:10]

['de837055-7009-42f2-80c7-cb224a9ce750',
 '86ee21c3-4a35-4f0e-9286-57b4cde9a2df',
 'ac4be197-c315-4233-98e0-d52007091090',
 '3ae2328f-cf1d-4597-8cc6-c9ac9f28f3b5',
 '3bb30867-05e0-4687-bd67-613ad5ad6476',
 '507d041c-5a0a-439e-9fbe-e57556e02d93',
 '19b5ae73-163a-47a7-b6f6-deea88d8d72f',
 'c0eedac8-f7d0-44d1-becc-535183fbf496',
 '9fe84337-f37d-4873-bd7b-be3922203a36',
 'cb8ee715-d481-49d6-a6c7-c765afccdfd5']
1
2
3
4
5
6
7
8
9
10
11
12

1.8.6 Non geometric layers

['drivable_area',
 'road_segment',
 'road_block',
 'lane',
 'ped_crossing',
 'walkway',
 'stop_line',
 'carpark_area',
 'road_divider',
 'lane_divider',
 'traffic_light']
1
2
3
4
5
6
7
8
9
10
11

a. Drivable Area
可驾驶区域定义为汽车可以驾驶的区域，无需考虑驾驶方向或法律限制。
这是唯一的层可以由多个几何实体表示。

{'token': 'c3e28556-b711-4581-9970-b66166fb907d',
 'polygon_tokens': ['fff7b0c9-1eaf-4988-afe3-e4e4607f85e3',
  'd235013d-2a07-4181-9862-c666b49a79b4',
  '0bbf311c-405d-433b-a097-7d9c292a9b87',
  'b4dfb634-2721-42d9-aa5d-0f8ec9a2fa31',
  'c4b4c925-6ddb-4e4b-a4ca-609e1ca626c2',
  'a60970c7-86cd-4169-ae9a-b9b51e4ec950',
  '1209379e-bc10-4d65-9fb1-0ee938032130']}
1
2
3
4
5
6
7
8

b. Road Segment道路分割
A segment of road on a drivable area可行驶区域上的路段.

It has an is_intersection flag
它具有is_intersection标志，该标志指示特定的路段是否为十字路口。

It may or may not have an association with a drivable area record from its drivable_area_token field.
它可能与它的drivable_area_token字段相关联。

{'token': 'c11b37a4-bb92-4c54-8ac0-75afa7eb6b01',
 'polygon_token': '1c5c6704-a63c-4d31-a197-ddf54bf0e3bb',
 'is_intersection': True,
 'drivable_area_token': 'c3e28556-b711-4581-9970-b66166fb907d',
 'exterior_node_tokens': ['cf40c168-78a3-4e92-841e-53afd1421dff',
					  '120f0165-9a78-461e-8d01-6c40e4a1daed',
					  'dde4abe5-3b45-451c-a807-5221964bbf85',
					  'fd13d452-34fc-46ce-bdea-d1dc7e0eea45',
					  '6e1aa028-bd6f-4497-99b5-bff4d8be5bb6',
					  '3e418645-9141-4f0f-b55b-ad6dd30886b0',
					  '9745d563-f020-469d-869e-31329ce29d2a',
					  'f0e9d611-6409-43ea-a584-cecbd625c2d5',
					  '21ecdb76-4766-40b6-89a0-407942980c4f',
					  '0ee2e32a-2619-4809-9fb7-6d5157ba7fce',
					  '7941a2b7-a574-4026-8bda-8e45f4fc820d',
					  '7fee10d9-db36-4965-8bc0-375aef1c758b',
					  'aa6f17dc-a481-4f77-af25-d975c0a9a67a',
					  'a49f0333-7088-4ff2-b47f-fc7cd26ea185'],
  'holes': []

	}
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21

As observed, for all non geometric objects except drivable_area, we provide a shortcut to its nodes.
除drivable_area以外的所有非几何对象，提供了指向节点。

如果渲染此路段，我们可以看到它确实是一个交叉点：

c. Road Block

一条道路的几个车道有相同的交通方向。
在一个Block内，车道数是一致的。
每个Block都有一个from_edge_line_token和to_edge_line_token来指示其交通方向。

{'token': '002d8233-c9bf-4a9b-9d53-be86cd6cf73f',
 'polygon_token': '29fc4c78-75ae-4777-adab-f33d93591661',
 'from_edge_line_token': 'b0d2163e-732b-4be6-b6f7-2add8b4c7e8f',
 'to_edge_line_token': '7ce97362-1133-4c19-a73c-5cfa8f0d64f0',
 'road_segment_token': '85a06614-958c-461f-bc11-6cadd68efa7d',
 'exterior_node_tokens': ['46cf43f6-30ea-437e-83b3-42af3ce2783b',
  'aca16135-79a1-4acd-a68f-3918c38d54be',
  'ce31539b-d8c8-45a0-94df-3ac3a585225b',
  '26704699-79a6-4d4c-8ca2-d65ffb3ac11b',
  '2d0168af-7952-416d-8aff-7512130fb73d',
  'e3fa777d-d87a-45f9-bd41-5364e3bb9dd2',
  'bedec7db-1f55-4639-9826-ab8639ee250b',
  '05243627-6e25-472d-af1f-aca0ff30b00c'],
 'holes': []}
1
2
3
4
5
6
7
8
9
10
11
12
13
14

d. Lanes
Lanes are parts of the road where vehicles drive in a single direction.
车道是车辆在单个方向上行驶的道路部分。

{'token': 'a4d847f6-a86f-4261-aa71-1703ebacb9d7',
 'polygon_token': '44e3bd22-71ee-40c4-99ba-1deaa3d708f1',
 'lane_type': 'CAR',
 'from_edge_line_token': '09e16919-92b5-4c51-815c-7eb974c436f3',
 'to_edge_line_token': '5940a848-bb2b-4461-a1ce-75449c13027c',
 'left_lane_divider_segments': [{'node_token': '412efe45-d46c-4068-87c5-f48d03500e96',
						   'segment_type': 'DOUBLE_DASHED_WHITE'},
						  {'node_token': 'f2033cb1-11a1-40f2-a40d-be561bdabba2',
						   'segment_type': 'DOUBLE_DASHED_WHITE'}],
'right_lane_divider_segments': [{'node_token': 'a2addcd9-2194-4d7f-925b-bbcb052cc17e',
						   'segment_type': 'DOUBLE_DASHED_WHITE'},
						  {'node_token': 'e572fcb6-bfa7-4166-a2af-86c47e354d5e',
						   'segment_type': 'DOUBLE_DASHED_WHITE'}],
'exterior_node_tokens': ['a2addcd9-2194-4d7f-925b-bbcb052cc17e',
						  'e572fcb6-bfa7-4166-a2af-86c47e354d5e',
						  'f2033cb1-11a1-40f2-a40d-be561bdabba2',
						  '412efe45-d46c-4068-87c5-f48d03500e96'],
 'holes': [],
 'left_lane_divider_segment_nodes': [{'token': '412efe45-d46c-4068-87c5-f48d03500e96',
								   'x': 203.67512955623954,
								   'y': 1197.3540106419273},
								  {'token': 'f2033cb1-11a1-40f2-a40d-be561bdabba2',
								   'x': 233.9395532705508,
								   'y': 1184.287688392046}],
 'right_lane_divider_segment_nodes': [{'token': 'a2addcd9-2194-4d7f-925b-bbcb052cc17e',
								   'x': 202.48485660713,
								   'y': 1194.1229460115894},
								  {'token': 'e572fcb6-bfa7-4166-a2af-86c47e354d5e',
								   'x': 232.837857251253,
								   'y': 1181.5758846271376}]}
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30

除了标记和几何表示之外，车道还具有几个字段：

• lane_type表示是否允许汽车或自行车通过该车道行驶。
• from_edge_line_token和to_edge_line_token表示其traffic direction.方向。
• left_lane_divider_segments和right_lane_divider_segment表示其车道分隔线。
• left_lane_divider_segment_nodes和right_lane_divider_segment_nodes表示组成车道分隔线的节点。

e. Pedestrian Crossing 人行横道(斑马线)
人行横道(斑马线)是行人可以合法过马路的区域，通常以白色标记突出显示。

每个人行横道记录必须在路段上。
它具有road_segment_token字段，
表示与之关联的road_segment记录。

{'token': '027c4ccd-56c9-4980-9949-1d42bb36f23c',
 'polygon_token': '62138b18-6dd1-4c1e-8f11-7a2c8d5783c8',
 'road_segment_token': 'af7744d2-6dfe-4b9f-ab9a-58cc155f3f08',
 'exterior_node_tokens': ['58cf4a19-d28e-44b1-b4c0-bc217e50da1e',
						  '0e3fda05-0936-4cbb-acbd-fc582750b3d3',
						  '6a0f7286-8e6d-4fb5-b874-c830f090a05a',
						  '0f45b051-0f14-469d-bde3-e8975b4d67cb'],
 'holes': []}
1
2
3
4
5
6
7
8

F。 走道
人行道或人行道是通常靠近道路的区域，
在此区域，行人受到保护，免受道路上车辆的侵害。

{'token': '00a01743-8d10-41ca-849e-ef6a32bee77d',
 'polygon_token': '17ff2a4b-a5c2-41d2-abf5-4a8aa07cb30f',
 'exterior_node_tokens': ['e7aa76d5-8368-4749-900d-dd2cbb4971e6',
						  'c7187b86-fdb8-4eec-ba71-0f2c6ee0b57b',
						  '8bd36561-55ef-4ff6-ab55-583dc59f2b73',
						  '47db713d-fc9f-49bd-b5ba-6d89123f6357',
						  '442e2766-733f-4147-b1cf-4238de3b93e1',
						  '5a831f39-0352-4fcf-ab76-e696c9d5e651',
						  'ac7839a1-73ef-4f39-80f0-e32ee2d816ae',
						  '4434e104-1317-4bcd-bddf-ac0abb4e158c',
						  '1cc537c7-1b78-443a-8513-8894cb807c8a',
						  '85cff4b3-a56b-45e5-8e6b-880a73860696',
						  '9344380b-375f-480f-9877-aa75e21b7acd',
						  '6c5a6416-ab0c-4221-842a-bc5aa97da61b',
						  '60e66d85-c5c1-4d27-8d67-d5ce28c2dac1',
						  '68c442df-c38f-482e-b863-10afae9c69ce',
						  '519240d4-5c8c-45e6-8d85-5ec78eac43bf',
						  'f12f278c-e0ca-4c18-ab14-d6b259885687',
						  '95e6e737-310d-4a9a-99aa-02dc4365ff19',
						  'f69e2a9d-f43b-4a3d-834b-bc0de489caf5'],
 'holes': []}
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21

G。 停止线

物理世界的停止线，
尽管名称暗示它应该具有线形几何图形，但实际上，它的物理图形表达是自我车辆必须停下来的区域。

{'token': '00904b8f-3166-47b8-9cbb-30062caec0eb',
 'polygon_token': '90102f73-9921-4d2a-8e07-148503868957',
 'stop_line_type': 'TURN_STOP',
 'ped_crossing_tokens': ['96748923-eabf-4142-8458-92ff580e997f'],
 'traffic_light_tokens': [],
 'road_block_token': '',
 'exterior_node_tokens': ['a3e110de-2443-406f-bf54-ef9b4dc46939',
					  'e5d038c8-f964-4ae2-b498-9952496c801f',
					  'bbec1377-0e20-4888-9f79-2a1aa50b3b88',
					  '37a078fa-2804-412e-b8b9-682fe21ad8be',
					  '50597561-e04f-4ea1-894a-cfd2c212aef0',
					  'b05b2d23-3a12-493d-9d8d-e57f4f8ddc60'],
 'holes': [],
 'cue': [{'token': '96748923-eabf-4142-8458-92ff580e997f',
   'polygon_token': 'f8a39c38-1d04-4dc0-9e35-f63966e56250',
   'road_segment_token': '6ea9d0a6-65e7-4038-ae50-4fb89a4c296d',
   'exterior_node_tokens': ['7931be00-b6a7-437d-9335-e4314dbe47b4',
    '1f6f7c4a-27a2-4a18-96bd-fe597546440f',
    'a28f6633-a23e-44f6-8355-0c06df42005e',
    '235431b5-9f71-452d-a3b2-bdeaaa44aa41'],
   'holes': []}]}
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21

它具有几个属性：

• stop_line_type，停止线的类型，它表示自我车辆停止的原因
• 如果stop_line_type为PED_CROSSING，是ped_crossing_tokens关联信息
• 如果stop_line_type为TRAFFIC_LIGHT，是traffic_light_tokens关联信息
• road_block_token表示与road_block的关联信息，默认情况下可以为空。
• cues字段包含此记录为何为stop_line的原因。 由于多种原因，一个区域可能是停靠线：
  • PED_CROSSING或 TURN_STOP的stop_line_type的提示是ped_crossing记录。
  • TRAFFIC_LIGHT的stop_line_type的提示”是traffic_light记录。
  • No cues for stop_line_type of "STOP_SIGN" or "YIELD".不是stop_line_type的提示的停止信号

h. Carpark Area¶

A car park or parking lot area.停车区

{'token': '0a711883-2477-4eb5-aef8-cc9ad3e3158a',
 'polygon_token': 'eca315c8-cfb7-4759-a91a-d148d08ef2eb',
 'orientation': 2.5073506567369885,
 'road_block_token': '2b60cc1b-0882-4ef3-8207-f7cb3561aff9',
 'exterior_node_tokens': ['0043375d-b853-4149-94a5-3ca6c984e3d8',
						  '5aa572e1-1848-4739-bbd8-f5934fb3e1ea',
						  '5419cf3e-9e02-4683-adae-fe0dcd948644',
						  'ba9efc27-c461-402f-a172-e451e92ef7c8'],
 'holes': []}
1
2
3
4
5
6
7
8
9

它具有几个属性：

• orientation表示停放的汽车的弧度方向。orientation denotes the direction of parked cars in radians.
• road_block_token表示与road_block的关联信息。

i. Road Divider(不同行车区域，例如双向车道)

A divider that separates one road block from another.道路区域分割线

{'token': '00bbfc65-0b44-4b4c-b517-6d87dc02529c',
 'line_token': '98c91318-5854-41ac-9210-001b57b8185f',
 'road_segment_token': 'b1ed2f76-bfcd-4b0c-b367-7a20cf707b95',
 'node_tokens': ['4e2605d4-b9f4-41f9-a03c-032c8d4a3c24',
  '1cbbdda6-5ee6-4b4d-8bcc-30af18094978']}
1
2
3
4
5

road_segment_token saves the association information to a road_segment.

j. Lane Divider

A lane divider comes between lanes that point in the same traffic direction.在指向相同交通方向的车道之间有一个车道分隔线。

{'token': '00569b72-a7dc-4cdf-9bf3-7f3583c6dbae',
 'line_token': '9ac741dc-20b5-44f3-9f0a-41e371a722ee',
 'lane_divider_segments': [{'node_token': '57d546eb-682c-4540-871c-2e8d6a67f2de',
   'segment_type': 'DOUBLE_DASHED_WHITE'},
  {'node_token': 'fef2c634-7096-4b48-bf87-6575d2a67b56',
   'segment_type': 'DOUBLE_DASHED_WHITE'},
  {'node_token': '153990f1-b0da-4243-a065-e4a99d29e180',
   'segment_type': 'DOUBLE_DASHED_WHITE'},
  {'node_token': '8ad3000f-c1e9-4eda-8bf1-c5f64a879c54',
   'segment_type': 'NIL'}],
 'node_tokens': ['57d546eb-682c-4540-871c-2e8d6a67f2de',
  'fef2c634-7096-4b48-bf87-6575d2a67b56',
  '153990f1-b0da-4243-a065-e4a99d29e180',
  '8ad3000f-c1e9-4eda-8bf1-c5f64a879c54']}
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16

The lane_divider_segments field consist of different nodes and their respective segment_types which denotes their physical appearance
lane_divider_segments字段由不同的节点及其各自的segment_type组成，
是物理的外观属性

k. Traffic Light

A physical world’s traffic light.

{'token': '00590fed-3542-4c20-9927-f822134be5fc',
 'line_token': '5bffb006-bce8-44a4-a466-5580f1d748fd',
 'traffic_light_type': 'VERTICAL',
 'from_road_block_token': '71c79c48-819c-4b17-ad28-2a9e82ba1596',
 'items': [{'color': 'RED',
   'shape': 'CIRCLE',
   'rel_pos': {'tx': 0.0,
    'ty': 0.0,
    'tz': 0.632,
    'rx': 0.0,
    'ry': 0.0,
    'rz': 0.0},
   'to_road_block_tokens': []},
  {'color': 'YELLOW',
   'shape': 'CIRCLE',
   'rel_pos': {'tx': 0.0,
    'ty': 0.0,
    'tz': 0.381,
    'rx': 0.0,
    'ry': 0.0,
    'rz': 0.0},
   'to_road_block_tokens': []},
  {'color': 'GREEN',
   'shape': 'CIRCLE',
   'rel_pos': {'tx': 0.0,
    'ty': 0.0,
    'tz': 0.13,
    'rx': 0.0,
    'ry': 0.0,
    'rz': 0.0},
   'to_road_block_tokens': []},
  {'color': 'GREEN',
   'shape': 'RIGHT',
   'rel_pos': {'tx': 0.0,
    'ty': -0.26,
    'tz': 0.13,
    'rx': 0.0,
    'ry': 0.0,
    'rz': 0.0},
   'to_road_block_tokens': ['bd26d490-8822-469b-ae60-74f6c0c9e1cb']}],
 'pose': {'tx': 369.2207339994191,
  'ty': 1129.3945093980494,
  'tz': 2.4,
  'rx': 0.0,
  'ry': 0.0,
  'rz': -0.6004778487510373},
 'node_tokens': ['8e483ef5-75e5-417a-bc78-fa7750297fb1',
  '78a4b686-3207-48fa-ae2a-d5f875e0ee37']}

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51

它具有几个属性：
1.traffic_light_type表示交通信号灯是水平方向还是垂直方向。
2.from_road_block_tokens表示交通灯从哪个道路引导。
3.items是该交通信号灯的灯泡属性（‘color’: ‘RED’, ‘shape’: ‘CIRCLE’, ‘rel_pos’，to_road_block_tokens）。
4.pose表示交通信号灯的姿势。

Let’s examine the items field

[{'color': 'RED',
  'shape': 'CIRCLE',
  'rel_pos': {'tx': 0.0,
   'ty': 0.0,
   'tz': 0.632,
   'rx': 0.0,
   'ry': 0.0,
   'rz': 0.0},
  'to_road_block_tokens': []},
 {'color': 'YELLOW',
  'shape': 'CIRCLE',
  'rel_pos': {'tx': 0.0,
   'ty': 0.0,
   'tz': 0.381,
   'rx': 0.0,
   'ry': 0.0,
   'rz': 0.0},
  'to_road_block_tokens': []},
 {'color': 'GREEN',
  'shape': 'CIRCLE',
  'rel_pos': {'tx': 0.0,
   'ty': 0.0,
   'tz': 0.13,
   'rx': 0.0,
   'ry': 0.0,
   'rz': 0.0},
  'to_road_block_tokens': []},
 {'color': 'GREEN',
  'shape': 'RIGHT',
  'rel_pos': {'tx': 0.0,
   'ty': -0.26,
   'tz': 0.13,
   'rx': 0.0,
   'ry': 0.0,
   'rz': 0.0},
  'to_road_block_tokens': ['bd26d490-8822-469b-ae60-74f6c0c9e1cb']}]
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36

如上所述，项目字段中的每个条目都是一个交通灯。 它具有颜色信息，形状信息，rel_pos（即相对位置）和to_road_block_tokens（表示交通信号灯正在引导至哪个路）。

1.8.7nuScenes与其他数据集的对比

图片来源：《nuScenes: A multimodal dataset for autonomous driving》

nuScenes是唯一有毫米波雷达的数据集。论文名称《nuScenes:A multimodal dataset for autonomous driving》，这是智能驾驶领域最具影响力的数据集，完成于2019年3月，2020年7月推出nuScenes-lidarseg，nuTonomy提出的激光雷达点柱算法也是目前最常用的激光雷达算法。nuScenes-lidarseg则是激光雷达最完备的测试数据集，包含850个训练场景，150个测试场景，惊人的14亿标注点，4万点云帧，32级分类。nuScenes目前由安波福与现代汽车的合资公司Motional维护。

禾赛生态伙伴数据集

禾赛和scale合作有发布过PandarSet数据集，可以通过这个链接下载
https://scale.com/resources/download/pandaset

WoodScape数据集

https://blog.csdn.net/djfjkj52/article/details/105806318
根据《FisheyeMultiNet: Real-time Multi-task Learning Architecture for Surround-view Automated Parking System》论文

WoodScape数据集
https://woodscape.valeo.com/download

Argoverse Dataset 自动驾驶数据集

该数据集由Argo AI、卡内基梅隆大学、佐治亚理工学院发布，欢迎访问帕伊提提下载使用（https://www.payititi.com）.

Argoverse数据集是由Argo AI、卡内基梅隆大学、佐治亚理工学院发布的用于支持自动驾驶汽车3D Tracking和Motion Forecasting研究的数据集。数据集包括两个部分：Argoverse 3D跟踪与Argoverse运动预测。

Argoverse中的数据来自Argo AI的自动驾驶测试车辆在迈阿密和匹兹堡（这两个美国城市面临不同的城市驾驶挑战和当地驾驶习惯）运行的地区的子集。包括跨不同季节，天气条件和一天中不同时间的传感器数据或“日志段”的记录，以提供广泛的实际驾驶场景。 总车道覆盖范围：迈阿密204线性公里，匹兹堡86线性公里。

Argoverse是第一个包含高精地图的数据集，它包含了290KM的带有几何形状和语义信息的高精地图数据。

Argoverse高精地图坐标系采用UTM坐标系，UTM将全球分成60个Zone，每个Zone经度方向跨越6度，在UTM基础之上，Argoverse又将坐标系相对于单个城市的固定坐标进行偏移，从而得到最终数据集的地图坐标系。

Argoverse特点：

1、具有113个场景的3D跟踪注释的一个数据集

2、一个数据集，包含从1000多个驾驶小时中提取的324,557条有趣的车辆轨迹

3、两张具有车道中心线，交通方向，地面高度等的高清（HD）地图

4、一个API，用于将地图数据与传感器信息连接起来

1.1 激光雷达：

2.2.1、2个屋顶式LiDAR传感器

2.2.2、重叠40°垂直视野

2.2.3、射程200m

2.2.4、平均而言，我们的LiDAR传感器在10 Hz时产生约107,000个点的点云。

1.2 特定城市与区域

我们使用特定于城市的坐标系进行车辆定位。我们结合了基于GPS的定位方法和基于传感器的定位方法，为每个时间戳都包含6自由度定位。

1.3 立体摄影机

七个高分辨率环形摄像头（1920 x 1200），以30 Hz的频率记录，并具有360°视场 以5 Hz采样的两个前视立体摄像机（2056 x 2464）

1.4 内外部校准

每次驾驶会话的传感器测量结果都存储在“日志”中。对于每个日志，我们提供LiDAR和所有九个摄像机的内部和外部校准数据

地图包含丰富的几何和语义元数据，可以更好地理解3D场景。从地面高度到下一个交叉点为止的剩余距离，我们的地图使研究人员能够探索高清地图在机器人感知中的潜力。

二、Argoverse地图

有三个不同的组件使我们的地图与众不同：

1、几何级车道矢量图

我们的语义矢量地图传达了有用的车道级别细节，例如车道中心线，交通方向和交叉路口注释。通过这些功能以及更多功能，用户可以探索交通流经我们测试区域中城市街道和复杂路口的多种方式，并获得每个场景前后的全面情况。

2、可驾驶区域的栅格化地图

我们的地图包含一米网格分辨率的二进制可驱动区域标签。可驾驶区域是车辆可能驾驶的区域（尽管不一定合法）。我们在3D跟踪中概述的跟踪注释延伸到可行驶区域之外五米。我们称这个更大的区域为“关注区域”。

3、具有实际高度的栅格化地图

我们的地图包括一米分辨率的实值地面高度。借助我们的地图工具，用户可以去除不平坦地面上的LiDAR返回物，从而更易于检测物体。

三、Argoverse 3D追踪

Argoverse 3D跟踪是113个日志段的集合，其中包含3D对象跟踪注释。这些日志段（我们称为“序列”）的长度从15秒到30秒不等，总共包含11052条轨道。

我们的训练和验证集中的每个序列都包含对所有物体的注释，这些物体位于我们称为“可驾驶区域”（车辆可以行驶的区域）5米以内的区域。 是什么使这个数据集脱颖而出？

用户可以构建算法，以利用Argoverse的高清地图中的详细信息。例如，一种算法可以使用地图在LiDAR返回处执行地面移除操作，或基于车道方向约束车辆方向。

资料注解

Argoverse在可驱动区域上或附近的所有关注对象上均包含无定形态3D边界长方体。 “无模态”是指每个长方体的3D范围代表对象在3D空间中的空间范围-不仅是观察到的像素或观察到的LiDAR返回的范围，对于被遮挡的对象来说较小，而对于仅从观察到的对象来说是模糊的一张脸。

通过将长方体拟合到在整个跟踪序列中观察到的每个对象的LiDAR返回，将自动生成我们的非模态注释。如果对象的整个空间范围在一帧中模棱两可，则可以使用来自前一帧或后一帧的信息来约束形状。随着时间的推移，无定形长方体的大小是固定的。数据集中的一些对象会动态更改大小（例如，汽车开着门），并导致不完全的无峰长方体拟合。

为了创建模态长方体，我们在每个时间步确定属于每个对象的点。这些信息以及每个对象的方向都来自人工注释者。

我们为15个对象类提供了地面真相标签。这些类中的两个包括位于我们定义的键类别之外的静态和动态对象，它们分别称为ON_ROAD_OBSTACLE和OTHER_MOVER。这些对象类在Argoverse 3D跟踪中所有带注释的对象上的分布如下所示：

四、Argoverse运动预测

训练和验证运动预测模型的数据集

Argoverse运动预测是一个精心挑选的324,557个场景集合，每个场景5秒，用于训练和验证。每个场景都包含以10 Hz采样的每个跟踪对象的2D鸟瞰质心。

为了创建这个集合，我们从自动驾驶测试车队中筛选了1000多个小时的驾驶数据，以查找最具挑战性的细分市场-包括显示交叉路口的车辆，向左转或向右转弯的车辆以及改变车道的车辆。

Nullmax已经开源相应的ROD（Rare Object Dataset）数据集

混合数据增强

对于自动驾驶而言，除了通过数据闭环在真实场景中收集困难样本之外，另外一种获取数据样本的方式，就是大规模的自动化生成虚拟样本。

比如，在CVPR 2022上提出的合成数据集SHIFT，就是通过CARLA仿真几乎零成本地生成真值数据。再比如Block-NeRF，利用3个月收集的数据重建旧金山市的场景，这是另外一种生成数据的方式，通过一些样本的视角来生成其他视角的虚拟图像。

此外，通过计算机图形学和生成式模型相结合，也能够以Neural Rendering的方式生成大量的虚拟数据。

在ICRA 2022上，Nullmax同样也提出了一种生成虚拟样本的方式，通过混合数据增强的方法，解决罕见目标检测的难题。（点击查看详情）

因为对自动驾驶而言，即使专门去筛一些数据，获得的数据量仍可能还是很小。收集一些少见的样本，比如锥形筒相关的场景，其实依然很难。

所以我们当初的想法是，既然拥有大量没有锥形筒的真实场景，那么能不能将锥形筒的mask（掩膜）贴到这些真实场景图片上面，几乎零成本地自动生成大量少见样本呢？这就是我们想要通过混合数据增强来实现的目标。

这当中有两个非常关键的问题，一个是锥形筒mask贴到什么位置，一个是怎么贴mask。因此，我们提出了一个多任务的深度学习网络，为交通场景提供相应的约束，确保mask沿着车道线贴到freespace上，而不是车上。同时，还提出了一个局部自适应的颜色变换，让mask能够自动适应每张图片本身的颜色分布。

实验结果显示，对锥形筒这类少见样本来说，如果只有少量数据，检测效果其实比较一般。但是在结合我们的混合数据增强方法后，检测效果可以大幅提升。

Nullmax已经开源相应的ROD（Rare Object Dataset）数据集，当中包含1万多张的数据，分布在不同的道路、天气和光照条件。如果大家感兴趣，欢迎登陆网站下载 https://nullmax-vision.github.io/。

DOAT 数据集

https://captain-whu.github.io/DOTA/dataset.html

Object Category

• The object categories in DOTA-v1.0: plane, ship, storage tank, baseball diamond, tennis court, basketball court, ground track field, harbor, bridge, large vehicle, small vehicle, helicopter, roundabout, soccer ball field and swimming pool.

• The object categories in DOTA-v1.5: plane, ship, storage tank, baseball diamond, tennis court, basketball court, ground track field, harbor, bridge, large vehicle, small vehicle, helicopter, roundabout, soccer ball field, swimming pool and container crane.

• 
  The object categories in DOTA-v2.0: plane, ship, storage tank, baseball diamond, tennis court, basketball court, ground track field, harbor, bridge, large vehicle, small vehicle, helicopter, roundabout, soccer ball field, swimming pool, container crane, airport and helipad.

Annotation format

In the dataset, each object is annotated by an oriented bounding box (OBB), which can be denoted as (x1,y1,x2,y2,x3,y3,x4,y4)) , where (xi,yi) denotes the i-th vertice of OBB. The vertices are arranged in a clockwise order. The following is the visualization of annotations. The yellow point represents the starting point, which means:top-left corner of a large vehicle diamond,

Apart from OBB, each instance is also labeled with a category and a difficult which indicates whether the instance is difficult to be detected (1 for difficult, 0 for not difficult). Annotations for an image are saved in a text file with the same file name. Each line represent an instance. The following is an example annotation for an image:

x1, y1, x2, y2, x3, y3, x4, y4, category, difficult
x1, y1, x2, y2, x3, y3, x4, y4, category, difficult
1
2

2.0 仿真平台

从技术上讲，这些平台主要分为两类：

第一类是基于合成的数据，对环境、感知及车辆进行模拟，这里的感知大多数是图像层面的感知，这类模拟器主要用于感知、规划算法的初步开发上，Carla、AirSim、Udacity self-driving car simulator就属于这类；

第二类是基于真实数据的回放，这里的真实数据包括图像、lidar、radar等各种传感器的数据，这类模拟器主要用于测试无人驾驶中信息融合算法以及车辆不同部件的性能，Apollo和Autoware就属于这类。

参考：https://shenxiaohai.me/2018/02/20/autonomous-platforms/

2.1 Carla

。。

2.2 AirSim

。。

2.3 Udacity self-driving-car-sim

项目地址：Welcome to Udacity’s Self-Driving Car Simulator
https://github.com/udacity/self-driving-car-sim

相关教程：Unity Simulator User Instructions
https://github.com/udacity/self-driving-car-sim#unity-simulator-user-instructions

2.4 Apollo

。。

2.5 Autoware

。。

2019-2020自动驾驶仿真产业链研究报告（上）

• MathWorks R2019b 版的 Automated Driving Toolbox 增加了 3D 仿真支持，实现 Simulink 模型与 Unreal Engine 中的摄像头、激光雷达或雷达传感器模型的集成仿真，可快速分割从激光雷达获取的 3D 点云数据。

• 2019年7月，Apollo平台迎来5.0版升级，新增车辆动力学模型。Apollo5.0将传统的车辆动力学建模方式升级到基于机器学习的Apollo动力学模型。 传统的建模方式在模型的复杂度、模型的精准度、模型的可迁移性、可扩展性等维度上都具有很多局限性。而基于机器学习的Apollo动力学模型具备模型复杂度高，模型精细度高等特点，据百度称与传统方式建模结果相对比在误差上能够减少80%。

  仿真系统最先进的模拟方法是使用游戏引擎来创建驾驶场景。不过，由游戏引擎渲染得到的CG（计算机图像）和实景拍摄图在丰富性和真实性上还有差距，导致通过CG图像训练的自动驾驶算法在实景上效果下降。由美国马里兰大学与百度研究院以及香港大学合作开发的AADS系统，不仅能大大降低仿真系统的测试成本，还在真实性和扩展性方面实现了质的飞跃。

平台

二、综合仿真平台及公司研究
2.1 仿真平台介绍
2.1.1 仿真平台的典型组成
2.1.2 传统仿真企业和IT企业在仿真平台的竞争
2.2 ANSYS
2.2.1 ANSYS公司简介
2.2.2 ANSYS收购OPTIS
2.2.3 ANSYS通过跨行业收购完善仿真行业产业链
2.2.4 ANSYS收购公司的背景
2.2.5 ANSYS 持续加大运营及研发投入
2.2.6 ANSYS 自动驾驶解决方案及产品
2.2.7 ANSYS收购OPTIS的意义
2.2.8 ANSYS 2019 R3
2.2.9 ANSYS SCADE
2.2.10 ANSYS 合作伙伴生态
2.2.11 ANSYS 合作动态
2.3 西门子
2.3.1 西门子的自动驾驶仿真布局
2.3.2 主要产品简介
2.3.3 西门子收购TASS
2.3.4 PreScan的功能特色
2.3.5 PreScan 的自动驾驶仿真应用
2.3.6 PreScan运行过程
2.3.7 PreScan支持的传感器类型和部分场景
2.3.8Prescan支持的外部工具和软件
2.3.9Prescan支持的场景来源
2.4 NVIDIA 仿真平台
2.4.1 NVIDIA Drive Constellation
2.4.2 NVIDIA Drive Constellation的特性
2.4.3 Drive Constellation与目标车辆的数据交互
2.4.4 DRIVE Constellation与DRIVE Sim
2.4.5 NVIDIA 仿真平台构成
2.4.6 广泛的合作伙伴网络
2.5 Gazebo
2.5.1 开源仿真平台Gazebo
2.5.2 Gazebo功能和使用
2.5.3 Gazebo的几大优点
2.6 Carla
2.6.1 Carla简介
2.6.2 Carla的不同场景搭建
2.6.3 Carla最新版本
2.6.4 Carla的功能亮点
2.7 中汽中心
2.7.1 中汽中心
2.7.2 中汽中心仿真平台
2.7.3 中汽中心场景平台
2.7.4 中汽中心与IPG共建驾驶场景仿真联合实验室
2.8 中国汽研
2.8.1 中国汽研布局仿真测试全平台工具链
2.8.2 i-Collector
2.8.3 i-Transfomer和i-Creator
2.8.4 ADAS HIL集成与测试服务
2.8.5 搭建自动驾驶仿真数据众包&测试服务云平台
2.9 百度Apollo分布式仿真平台
2.9.1 Apollo仿真平台
2.9.2 Apollo仿真引擎
2.9.3 ApolloScape
2.9.4 Apollo控制在环仿真
2.9.5 Apollo 车辆动力学模型仿真
2.9.6 AADS系统
2.9.7 AADS拥有的两大优势
2.9.8 Apollo仿真平台合作
2.10 腾讯TAD Sim
2.10.1 腾讯的自动驾驶布局
2.10.2 TAD Sim仿真平台
2.10.3 腾讯TAD Sim仿真平台的特点
2.10.4 TAD Sim仿真平台的高保真场景
2.10.5 TAD Sim仿真平台传感器仿真
2.10.6 对复杂路况的仿真
2.10.7 云加速仿真，车路协同仿真，三维城市重建
2.10.8 TAD Sim仿真平台的应用
2.11 Panosim
2.11.1 PanoSim 公司简介
2.11.2 主要产品
2.11.3主要客户
2.11.4 PanoSim基于物理模型和数值仿真
2.11.5 PanoSim 界面和功能
2.11.6 用PanoSim创建仿真实验的流程
2.11.7 PanoSim 3.0-新增雷达模型和GPS物理模型
2.11.8 PanoSim 3.0-V2X和真值传感器功能升级
2.11.9 PanoSim3.0 优化Simulink模型
2.12 AirSim
2.12.1 开源仿真模拟平台-AirSim
2.12.2 AirSim on Unity
2.12.3 AirSim仿真模拟器的特性
2.13 51World
2.13.1 51WORLD简介
2.13.2 51Sim-One
2.13.3 内置车辆动力学系统
2.13.4 51Sim-One的应用
2.13.5 自动驾驶仿真合作伙伴
2.13.6 51WORLD地球克隆计划
…

三、车辆动力学仿真研究
3.1 车辆动力学仿真简介
3.2 MATLAB/Simulink
3.2.1 Mathworks和Simulink简介
3.2.2 产品包
3.2.3 基于Simulink 的 AEB与FCW系统
3.2.4 ADST
3.2.5 Simulink 的各种模型
3.2.6 Driving Scenario Designer
3.2.7 Vehicle Dynamics Blockset
3.2.8 Vehicle Dynamics Blockset的主要模块
3.2.9 用于闭环仿真测试的案例
3.2.10 在Voyage的应用案例
3.2.11 最新特性