nuscenes教程_nuscenes devkit

• 本篇文章适用于对python、ubuntu以及一些操作不太懂的小白，大神以及精通的请跳过，本篇文章参考nuscenes官网而写(最好有点python基础，不然学起来很痛苦，本人纯小白，走了很多弯路)。
• 本操作环境在ubuntu20.04，python3.7环境下完成（需要有python3.7、conda的环境）

一、nuscenes数据集介绍：
1.nuScenes数据集（发音为/nuːsiːnz/）是由Motional（前身为nuTonomy）团队开发的大规模自动驾驶公共数据集。Motional正在使无人驾驶汽车成为安全、可靠和可访问的现实。通过向公众发布我们的数据子集，Motional旨在支持对计算机视觉和自动驾驶的公共研究。

2.下面是采集车图片：采集车上配备了完善的传感器，包括6个相机（CAM）、1个激光雷达 （LIDAR）、5个毫米波雷达（RADAR）、IMU和GPS。传感器在采集车上的布置如下图所示：

• 相机（CAM）有六个，分别分布在前方（Front）、右前方（Front Right）、左前方（Front Left）、后方（Back）、右后方（Back Right）、左后方（Back Left）
• 激光雷达（LIDAR）有1个，放置在车顶（TOP）
• 毫米波雷达（RADAR）有五个，分别放置在前方（Front）、右前方（Front Right）、左前方（Front Left）、右后方（Back Right）、左后方（Back Left）

二、nuscenes数据集下载：

• 由于nuscenes官网下载数据集还需要注册等等操作，下面在百度网盘进行分享：
  链接：https://pan.baidu.com/s/1cpIZtxPMv1TPeuvZl87QBg?pwd=qmiz
  提取码：qmiz
• 将该文件解压在ubuntu主目录下，例如：/data/sets/nuscenes这种形式存放
  
• 安装库：
  在终端中pip install nuscenes-devkit安装nuscenes-devkit库
• 将该文件用vscode打开(能写python代码的软件都可以)在其目录下编写nuscenes_test.py代码
  编写如下代码：

%matplotlib inline
from nuscenes.nuscenes import NuScenes
nusc = NuScenes(version='v1.0-mini', dataroot='.', verbose=True)

运行成功后：
======
Loading NuScenes tables for version v1.0-mini...
Loading nuScenes-lidarseg...
32 category,                            # 对象类别的分类（例如车辆、人类）
8 attribute,                            # 实例的属性
4 visibility,                           # 实例的可见性
911 instance,                           # 实例对象
12 sensor,                              # 传感器描述
120 calibrated_sensor,                  # 表示传感器内外参数等信息
31206 ego_pose,                         # 自我车辆在特定时间戳处的姿势
8 log,                                  # 从中​​提取数据的日志信息
10 scene,                               # 汽车旅程的 20 秒片段
404 sample,                             # 关键帧
31206 sample_data,                      # 传感器返回的数据
18538 sample_annotation,                # sample三维标注框
4 map,                                  # 地图数据
404 lidarseg,
Done loading in 0.379 seconds.
======
Reverse indexing ...
Done reverse indexing in 0.1 seconds.
======
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27

将代码中的verbose=True改为verbose=False就可以不输出上面内容了

• 在代码下面继续添加下面代码,可以查看数据中的所有场景：
  nusc.list_scenes()
  运行后：
  

• 把nusc.list_scenes()删掉，添加如下代码,可以查看某个场景中的信息：

my_scene = nusc.scene[0]
print(my_scene)

运行如下：
{'token': 'cc8c0bf57f984915a77078b10eb33198', 'log_token': '7e25a2c8ea1f41c5b0da1e69ecfa71a2', 'nbr_samples': 39, 'first_sample_token': 'ca9a282c9e77460f8360f564131a8af5', 'last_sample_token': 'ed5fc18c31904f96a8f0dbb99ff069c0', 'name': 'scene-0061', 'description': 'Parked truck, construction, intersection, turn left, following a van'}
1
2
3
4
5

token：token为唯一标识，通过token可以获取对应信息。

• 接着把print(my_scene)改成如下代码：

first_sample_token = my_scene['first_sample_token']  #获取第一个sample的token值
print(first_sample_token)

运行如下：
ca9a282c9e77460f8360f564131a8af5
1
2
3
4
5

上文是通过my_scene得到第一个sample的token值

• 将print(first_sample_token)改成如下代码，输出结果包含了传感器采集到的信息、标注信息等等：

my_sample = nusc.get('sample', first_sample_token)
print(my_sample)

运行如下：
{'token': 'ca9a282c9e77460f8360f564131a8af5', 'timestamp': 1532402927647951, 'prev': '', 'next': '39586f9d59004284a7114a68825e8eec', 'scene_token': 'cc8c0bf57f984915a77078b10eb33198', 'data': {'RADAR_FRONT': '37091c75b9704e0daa829ba56dfa0906', 'RADAR_FRONT_LEFT': '11946c1461d14016a322916157da3c7d', 'RADAR_FRONT_RIGHT': '491209956ee3435a9ec173dad3aaf58b', 'RADAR_BACK_LEFT': '312aa38d0e3e4f01b3124c523e6f9776', 'RADAR_BACK_RIGHT': '07b30d5eb6104e79be58eadf94382bc1', 'LIDAR_TOP': '9d9bf11fb0e144c8b446d54a8a00184f', 'CAM_FRONT': 'e3d495d4ac534d54b321f50006683844', 'CAM_FRONT_RIGHT': 'aac7867ebf4f446395d29fbd60b63b3b', 'CAM_BACK_RIGHT': '79dbb4460a6b40f49f9c150cb118247e', 'CAM_BACK': '03bea5763f0f4722933508d5999c5fd8', 'CAM_BACK_LEFT': '43893a033f9c46d4a51b5e08a67a1eb7', 'CAM_FRONT_LEFT': 'fe5422747a7d4268a4b07fc396707b23'}, 'anns': ['ef63a697930c4b20a6b9791f423351da', '6b89da9bf1f84fd6a5fbe1c3b236f809', '924ee6ac1fed440a9d9e3720aac635a0', '91e3608f55174a319246f361690906ba', 'cd051723ed9c40f692b9266359f547af', '36d52dfedd764b27863375543c965376', '70af124fceeb433ea73a79537e4bea9e', '63b89fe17f3e41ecbe28337e0e35db8e', 'e4a3582721c34f528e3367f0bda9485d', 'fcb2332977ed4203aa4b7e04a538e309', 'a0cac1c12246451684116067ae2611f6', '02248ff567e3497c957c369dc9a1bd5c', '9db977e264964c2887db1e37113cddaa', 'ca9c5dd6cf374aa980fdd81022f016fd', '179b8b54ee74425893387ebc09ee133d', '5b990ac640bf498ca7fd55eaf85d3e12', '16140fbf143d4e26a4a7613cbd3aa0e8', '54939f11a73d4398b14aeef500bf0c23', '83d881a6b3d94ef3a3bc3b585cc514f8', '74986f1604f047b6925d409915265bf7', 'e86330c5538c4858b8d3ffe874556cc5', 'a7bd5bb89e27455bbb3dba89a576b6a1', 'fbd9d8c939b24f0eb6496243a41e8c41', '198023a1fb5343a5b6fad033ab8b7057', 'ffeafb90ecd5429cba23d0be9a5b54ee', 'cc636a58e27e446cbdd030c14f3718fd', '076a7e3ec6244d3b84e7df5ebcbac637', '0603fbaef1234c6c86424b163d2e3141', 'd76bd5dcc62f4c57b9cece1c7bcfabc5', '5acb6c71bcd64aa188804411b28c4c8f', '49b74a5f193c4759b203123b58ca176d', '77519174b48f4853a895f58bb8f98661', 'c5e9455e98bb42c0af7d1990db1df0c9', 'fcc5b4b5c4724179ab24962a39ca6d65', '791d1ca7e228433fa50b01778c32449a', '316d20eb238c43ef9ee195642dd6e3fe', 'cda0a9085607438c9b1ea87f4360dd64', 'e865152aaa194f22b97ad0078c012b21', '7962506dbc24423aa540a5e4c7083dad', '29cca6a580924b72a90b9dd6e7710d3e', 'a6f7d4bb60374f868144c5ba4431bf4c', 'f1ae3f713ba946069fa084a6b8626fbf', 'd7af8ede316546f68d4ab4f3dbf03f88', '91cb8f15ed4444e99470d43515e50c1d', 'bc638d33e89848f58c0b3ccf3900c8bb', '26fb370c13f844de9d1830f6176ebab6', '7e66fdf908d84237943c833e6c1b317a', '67c5dbb3ddcc4aff8ec5140930723c37', 'eaf2532c820740ae905bb7ed78fb1037', '3e2d17fa9aa5484d9cabc1dfca532193', 'de6bd5ffbed24aa59c8891f8d9c32c44', '9d51d699f635478fbbcd82a70396dd62', 'b7cbc6d0e80e4dfda7164871ece6cb71', '563a3f547bd64a2f9969278c5ef447fd', 'df8917888b81424f8c0670939e61d885', 'bb3ef5ced8854640910132b11b597348', 'a522ce1d7f6545d7955779f25d01783b', '1fafb2468af5481ca9967407af219c32', '05de82bdb8484623906bb9d97ae87542', 'bfedb0d85e164b7697d1e72dd971fb72', 'ca0f85b4f0d44beb9b7ff87b1ab37ff5', 'bca4bbfdef3d4de980842f28be80b3ca', 'a834fb0389a8453c810c3330e3503e16', '6c804cb7d78943b195045082c5c2d7fa', 'adf1594def9e4722b952fea33b307937', '49f76277d07541c5a584aa14c9d28754', '15a3b4d60b514db5a3468e2aef72a90c', '18cc2837f2b9457c80af0761a0b83ccc', '2bfcc693ae9946daba1d9f2724478fd4']}
1
2
3
4
5

• 将上面代码中print(my_sample)改为print(my_sample['data'])可以获取sample的数据sample_data
  运行如下，传感器里包含了许多的样本数据：

{'RADAR_FRONT': '37091c75b9704e0daa829ba56dfa0906', 'RADAR_FRONT_LEFT': '11946c1461d14016a322916157da3c7d', 'RADAR_FRONT_RIGHT': '491209956ee3435a9ec173dad3aaf58b', 'RADAR_BACK_LEFT': '312aa38d0e3e4f01b3124c523e6f9776', 'RADAR_BACK_RIGHT': '07b30d5eb6104e79be58eadf94382bc1', 'LIDAR_TOP': '9d9bf11fb0e144c8b446d54a8a00184f', 'CAM_FRONT': 'e3d495d4ac534d54b321f50006683844', 'CAM_FRONT_RIGHT': 'aac7867ebf4f446395d29fbd60b63b3b', 'CAM_BACK_RIGHT': '79dbb4460a6b40f49f9c150cb118247e', 'CAM_BACK': '03bea5763f0f4722933508d5999c5fd8', 'CAM_BACK_LEFT': '43893a033f9c46d4a51b5e08a67a1eb7', 'CAM_FRONT_LEFT': 'fe5422747a7d4268a4b07fc396707b23'}
1

• 将print(my_sample['data'])删掉，改成如下代码，可以将这些传感器中采集的进行可视化：

sensor_radar = 'RADAR_FRONT'  #这里选择的传感器为前方的毫米波雷达传感器
radar_front_data = nusc.get('sample_data',my_sample['data'][sensor_radar])  
print(radar_front_data)

运行如下：
{'token': '37091c75b9704e0daa829ba56dfa0906', 'sample_token': 'ca9a282c9e77460f8360f564131a8af5', 'ego_pose_token': '37091c75b9704e0daa829ba56dfa0906', 'calibrated_sensor_token': 'f4d2a6c281f34a7eb8bb033d82321f79', 'timestamp': 1532402927664178, 'fileformat': 'pcd', 'is_key_frame': True, 'height': 0, 'width': 0, 'filename': 'samples/RADAR_FRONT/n015-2018-07-24-11-22-45+0800__RADAR_FRONT__1532402927664178.pcd', 'prev': '', 'next': 'f0b8593e08594a3eb1152c138b312813', 'sensor_modality': 'radar', 'channel': 'RADAR_FRONT'}
1
2
3
4
5
6

• 继续添加如下代码：
  nusc.render_sample_data(radar_front_data['token'])
  运行如下：RADAR_FRONT，即前方毫米波雷达传感器的可视化结果：
  

下面基本上都是这样的操作，具体可以参考nuscenes官网官方教程也可以参考nuscenes官方教程也可以参考对Nuscenes数据集一无所知，手把手带你玩转Nuscenes数据集教程

本篇为本人对nuscenes数据集的理解进行的记录，如有错误或者不懂的地方可以私信！