Carla简单入门-3 传感器_carla 中的传感器

Carla简单入门-3 传感器

本文写于2023年7月，文中所展示的版本为Ubuntu20.04以及Carla0.9.14，不同版本可能有一定的不同，欢迎各位伙伴们把遇到的问题和解决办法与其他人分享。

上篇文档中，我们详细了解了Carla中的同步与异步的区别，适用环境以及应用上的细节，在同步模式下解决了我们摄像头卡顿丢帧的问题。现在我们可以根据我们的需求尽情添加摄像头来读取信息而不用担心丢失信息或者影响模拟精度的问题了，所以这期文章我们将深入了解Carla的各种传感器。

1. 传感器综述

Carla对于传感器的定义是可以从周围环境中获取信息的actor，所以我们不难猜到所有传感器也遵循其他actor（类似vehicle）的操作逻辑，也即先获取蓝图设定属性，然后生成。中间的部分细微差别将在下面的部分详细说明。根据Carla的官方文档，Carla中的传感器可以大致分为3类，分别为Camera，detector，other，下面会对每个种类做大致说明：

a. camera

camera会在每次模拟环境更新 world.tick() 时以自身视角对模拟环境拍照进行记录，大部分camera会输出一个 图像carla.Image，用户可以通过helper class carla.ColorConverter来对返回的图像进行后处理。

camera类型的传感器除了DVS传感器外都会直接同步输出图像，而DVS所输出的carla.DVSEventArray也可以通过调用内置方法来转变成为图像。

b. detector

与camera不同，detector不会在每一次模拟环境更新时输出信息，detector只在它所绑定的actor（一般为ehicle）触发特定事件时才会获取信息。

c. other

other类的传感器提供了其他各种各样子不同的功能，例如导航、物理特性测量和场景的2D/3D点云图。other类的传感器和camera类类似，也是在每次模拟环境更新时获取信息。

现在Carla所提供的所有传感器类型已经简略介绍完了，接下来我们会对于其中的部分常用传感器进行细致说明。

2. Camera传感器

首先自然是Camera类，这是最直观也是最为常用的传感器类型，下来我们就看一下其中的各个传感器的属性以及设置。

a. RGB Camera

蓝图：sensor.camera.rgb
首先我们来看RGB相机的各种属性设定，Carla提供了非常多的可以设置的属性供我们自定义我们想要的相机效果，我们可以通过调整各种属性来模拟现实中相机在各个不同环境条件下的反应，例如视角，快门速度等。官方文档链接在这里：RGB camera

Carla中RGB相机有着如下的基本设定，一般情况下我们对于基本设定进行调整就能够满足我们对于传感器的自定义要求，注意进行属性设定需要对于生成所用蓝图进行设定，设定属性需要在生成之前，生成后就无法更改属性了。

通过在生成RGB相机之前调整相机蓝图中的这些属性，我们可以大致自定义出我们所需要的相机效果，当然，如果有更细节的要求，Carla也提供了高级属性供我们设定：

以上就是RGB相机的全部属性了，下面我们看一下如何实操：
为了方便演示，我们创建两个RGB相机并且放到同一位置进行对比

        # 从蓝图库中寻找rgb相机蓝图
        camera_bp_record = world.get_blueprint_library().find('sensor.camera.rgb')
        camera_bp_record_1 = world.get_blueprint_library().find('sensor.camera.rgb')

        # 设置相机蓝图属性，另一个相机蓝图属性保持默认
        camera_bp_record.set_attribute('bloom_intensity','1')
        camera_bp_record.set_attribute('fov','120')
        camera_bp_record.set_attribute('slope','0.5')

        # 设置rgb相机的方位信息
        camera_transform_record = carla.Transform(carla.Location(x=0, z=2.4), carla.Rotation(yaw=+00))

        # 生成rgb相机并绑定到主车上
        camera_record = world.spawn_actor(camera_bp_record, camera_transform_record, attach_to=ego_vehicle)
        camera_record_1 = world.spawn_actor(camera_bp_record_1, camera_transform_record, attach_to=ego_vehicle)

        # 设定存储摄像头数据的队列
        image_queue = queue.Queue()
        image_queue_1 = queue.Queue()
        # 设定传感器每读取一帧数据后存储到队列中(同步模式)
        camera_record.listen(image_queue.put)
        camera_record_1.listen(image_queue_1.put)

        # 设定数据的存储路径
        output_path = os.path.join("/home/ziyu/data/carla_pic", '%06d.png')
        output_path_1 = os.path.join("/home/ziyu/data/carla_pic/pic_1", '%06d.png')


        while True:
            # 从world中获取观察者视角，并将观察者视角的方位信息设置为相机的对应方位信息
            world.get_spectator().set_transform(camera.get_transform())

            # 如果为同步模式设定
            if traffic_manager.synchronous_mode:
                # 更新模拟世界
                world.tick()
                # 从队列中读取传感器图像
                image = image_queue.get()
                image_1 = image_queue_1.get()
                # 将图像存储到本地路径(同步模式)
                image.save_to_disk(output_path % image.frame)
                image_1.save_to_disk(output_path_1 % image.frame)

            # 如果为异步模式设定
            else:
                # 更新模拟世界
                world.wait_for_tick()
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47

大致的相机读取信息并存储的代码如上，下来我们看一下对比演示图：

我们可以很直观的看到无论是视角还是色彩都有了很大的改变，后面伙伴们也可以自己尝试各个不同的属性参数。

b. depth Camera

蓝图：sensor.camera.depth
下来我们直接来看深度相机, 深度相机输出的图像是传感器所捕捉的原始数据，由每个像素到相机的距离编码形成的 (also known as depth buffer or z-buffer) 深度图。深度图编码过程使用R，G，B三个通道来编码每个像素的深度值，从低到高的有效字节：R->G->B， 具体计算公式如下：

normalized = (R + G * 256 + B * 256 * 256) / (256 * 256 * 256 - 1)
in_meters = 1000 * normalized
1
2

输出的carla.Image需要使用carla.colorConverter来转换后存储，过程中将RGB通道中的距离转换为代表距离的[0,1]浮点值，最后将其转换为灰度。carla.colorConverter中提供两个深度视图选项： Depth 和 Logaritmic depth。两者的精度都是毫米级的，但对数方法对距离较近的物体效果更好。

深度相机也提供了部分属性供我们调整，这里我直接将所有属性的表格列出来，就不多赘述了。

基本属性：

镜头畸变属性：

输出属性：（注意这个为输出数据carla.image的属性，而非传感器属性）

以上就是深度相机的全部属性了，下面我们看一下如何实操：
同样为了方便演示，我们创建两个深度相机并且放到同一位置进行对比

        # 从蓝图库中寻找深度相机
        camera_bp_depth = world.get_blueprint_library().find('sensor.camera.depth')
        camera_bp_depth_1 = world.get_blueprint_library().find('sensor.camera.depth')

        # 设置深度相机蓝图属性
        camera_bp_depth_1.set_attribute('lens_x_size','0.8')
        camera_bp_depth_1.set_attribute('lens_y_size','0.8')
        camera_bp_depth_1.set_attribute('fov','120')

        # 设置相机的方位角
        camera_transform_record = carla.Transform(carla.Location(x=0, z=2.4), carla.Rotation(yaw=+00))

        # 生成深度相机并绑定到主车上
        camera_depth = world.spawn_actor(camera_bp_depth, camera_transform_record, attach_to=ego_vehicle)
        camera_depth_1 = world.spawn_actor(camera_bp_depth_1, camera_transform_record, attach_to=ego_vehicle)

        # 设定存储摄像头数据的队列
        image_queue = queue.Queue()
        image_queue_1 = queue.Queue()
        
        # 设定color_converter用于将深度原始数据转成深度图
        depth_color_converter = carla.ColorConverter.LogarithmicDepth

        # 设定传感器每读取一帧数据后存储到队列中(同步模式)
        camera_depth.listen(image_queue.put)
        camera_depth_1.listen(image_queue_1.put)

        # 设定数据的存储路径
        output_path = os.path.join("/home/ziyu/data/carla_pic", '%06d.png')
        output_path_1 = os.path.join("/home/ziyu/data/carla_pic/pic_1", '%06d.png')


        while True:
            # 从world中获取观察者视角，并将观察者视角的方位信息设置为相机的对应方位信息
            world.get_spectator().set_transform(camera.get_transform())

            # 如果为同步模式设定
            if traffic_manager.synchronous_mode:
                # 更新模拟世界
                world.tick()
                # 从队列中读取传感器图像
                image = image_queue.get()
                image_1 = image_queue_1.get()
                # 将图像通过color_converter转化后存储到本地路径(同步模式)
                image.save_to_disk(output_path % image.frame, depth_color_converter)
                image_1.save_to_disk(output_path_1 % image.frame, depth_color_converter)

            # 如果为异步模式设定
            else:
                # 更新模拟世界
                world.wait_for_tick()
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51

可以看到，设置深度相机的流程和设置普通的RGB相机的流程上基本没有差异，主要是相对于普通RGB相机输出可以直接使用或存储的RGB图，深度相机在使用或者存储前需要用color_converter进行转化。
同样，下面附上两种不同相机属性设定的效果对比图：

c. semantic segmentation Camera

蓝图：sensor.camera.semantic_segmentation
在每次模拟开始生成actor时，每个actor会根据所在文件夹的路径获得一个tag，例如通过 Unreal/CarlaUE4/Content/Static/Pedestrians 所生成的actor会获得Pedestrian的tag。之后在模拟运行时，semantic_segmentation相机会根据每个actor的tag来进行分类，每个不同的类会用不同的颜色表示。

Carla的语义分割相机会将tag信息编码到RGB图像的R通道当中，像素的R值就代表了它的tag，这样的图片我们不能直接使用，所以要将语义分割相机的原始数据通过carla.ColorConverter.CityScapesPalette来转换成为常用的语义分割图像

下面附上所有可用tag以及对应颜色的RGB值：

除了官方提供好的常用的语义分割种类和tag之外，用户也可以自定义自己的tag，过程比较复杂，受篇幅限制这里就不展开了，感兴趣的可以看官方文档：create semantic tags

语义分割相机所有可以自定义的属性和深度相机也是完全一致的，这里也就不再放了。

语义分割相机在使用上和深度相机也基本一致，只需要将使用carla.ColorConverter转化的步骤稍作调整即可这里就不赘述了，只放图像转化的代码：

# 官方提供的转化代码，在使用时将存储路径改为自己的存储路径即可
raw_image.save_to_disk("path/to/save/converted/image",carla.ColorConverter.cityScapesPalette)
1
2

最后我们简单看一下效果对比图：

d. instance segmentation Camera

蓝图：sensor.camera.instance_segmentation
实例分割相机和语义分割相机的工作原理十分相似都是在模拟开始的时候将元素的信息初始化，之后在传感器每次读取信息时将这些物体，元素的信息编码到图像的RGB值中并输出。例如有某个像素的RGB值为 [10, 20, 55]，我们就可以判断出这个像素属于一个id为20-55的vehicle(vehicle的tag编号为10)。当然，用户也可以根据自己的需求来选择是否对原始数据进行图像转换，如果不转换，那么就能得到根据元素的unique_id所分割的图像，如果进行转换，我们就会得到一个普通的语义分割图片。
实例分割相机有着和语义分割相机完全相同的属性选项，并且最终通过carla.ColorConverter所转换出的图像的颜色对应tag也是相同的，当然，两者的使用方式也是基本一致的，所以这里直接跳过，来看一下实例分割相机所输出的原始数据图像和转化后的图像的对比，注意原始图像数据中不仅包含元素的tag种类信息，还包含unique_id信息，所以两个相同种类的物体可能会有不同的颜色。

以上是Carla所提供的部分camera传感器的详细深入解析，下来我们进入other类传感器的Lidar部分。这部分内容会相对较少，因为Lidar所输出的数据不能很直观的看到，所以我们的实例程序中不会大量使用Lidar传感器，感兴趣的伙伴们可以下来自行探索，现在我们进入正题。

3. Lidar传感器

作为carla官方划分的other类下的一个重要子集，lidar传感器也有着许多强大的功能，同时Lidar传感器的输出数据类型也与camera完全不同。Lidar大类传感器下有两种传感器，分别是ray_cast和ray_cast_semantic，下面就对两个不同的传感器进行详细介绍：

a. LIDAR sensor

Lidar sensor通过UE4引擎中的ray-casting模拟了一个旋转的激光雷达，传感器会根据设定的通道数(channel)为每个通道添加一条射线并且计算每条射线的旋转角度来模拟出旋转的激光雷达，通过每一次步都对每个射线进行ray-cast计算，最后传感器会得到一份点云图。
Lidar传感器会每步输出一个 carla.LidarMeasurement数据，这个数据中包含一个存储了在1/FPS秒钟所有生成的点的信息的包，我们也可以将这个包含点的信息的包以list形式输出出来：

for location in lidar_measurement:
    print(location)
1
2

前文提到，Lidar传感器会输出一个4D点云图，其中的前3D自然是x，y，z坐标，而第四个属性是激光密度，强度(intensity)，这个属性值由下面的公式计算得来：

其中
a：为衰减系数。这可能取决于激光雷达的激光波长和大气条件。它可以使用激光雷达属性atmosphere_attention_re_rate进行修改。
d：为从传感器到点的距离。

为了模拟更加真实的激光雷达传感器，点云中的点会丢失，减少(drop off)以模拟现实中的外部扰动，点的drop off总共由两部分组成，一部分是基础 General drop off，另一种是基于intensity的 Instensity-based drop-off。
General drop off可以通过设定 dropoff_general_rate 来更改drop off比例，Instensity-based drop-off 可以通过更改上下限： dropoff_zero_intensity 和 dropoff_intensity_limit 来更改drop off的比例。
除此之外，激光雷达还可以向输出结果中加入噪声来模拟真实的场景以使模拟仿真更加接近现实。
下面我们看看激光雷达所提供的各种属性：

激光雷达属性

输出数据属性

激光雷达传感器所输出的数据是.ply文件，可以直接导入到meshlab中进行查看。在Ubuntu上进行meshlab的安装也很简单：

sudo apt-get install meshlab 
1

之后我们就可以打开存储到本地的点云图查看了：

meshlab XXX.ply
1

了解完大致流程之后我们来看下实战代码，当然Lidar传感器在生成的大致流程上和其他的传感器没有什么区别，具体的细节区别就详见代码吧：

        # 从蓝图库中寻找Lidar的蓝图
        lidar_bp = world.get_blueprint_library().find('sensor.lidar.ray_cast')
        lidar_bp_1 = world.get_blueprint_library().find('sensor.lidar.ray_cast')

        # 设置Lidar蓝图属性
        lidar_bp_1.set_attribute('channels', '64')
        lidar_bp_1.set_attribute('points_per_second', '560000')
        lidar_bp_1.set_attribute('upper_fov', '30')
        lidar_bp_1.set_attribute('dropoff_general_rate', '0.3')

       # 设置相机的方位角
        camera_transform_record = carla.Transform(carla.Location(x=0, z=2.4), carla.Rotation(yaw=+00))

        # 生成lidar并绑定到主车上
        lidar = world.spawn_actor(lidar_bp, camera_transform_record, attach_to=ego_vehicle)
        lidar_1 = world.spawn_actor(lidar_bp_1, camera_transform_record, attach_to=ego_vehicle)

        # 设定传感器每读取一步数据后存储到队列中(同步模式)
        lidar.listen(lidar_measurement_queue.put)
        lidar_1.listen(lidar_measurement_queue_1.put)

        # 设定数据的存储路径
        output_path_lidar = os.path.join("/home/ziyu/data/carla_pic", '%06d.ply')
        output_path_lidar_1 = os.path.join("/home/ziyu/data/carla_pic/pic_1", '%06d.ply')

        while True:
            # 从world中获取观察者视角，并将观察者视角的方位信息设置为相机的对应方位信息
            world.get_spectator().set_transform(camera.get_transform())

            # 如果为同步模式设定
            if traffic_manager.synchronous_mode:
                # 更新模拟世界
                world.tick()
                # 从队列中读取激光雷达数据
                measurement = lidar_measurement_queue.get()
                measurement_1 = lidar_measurement_queue_1.get()

                # 将激光雷达数据存储到本地路径(同步模式)
                measurement.save_to_disk(output_path_lidar % measurement.frame)
                measurement_1.save_to_disk(output_path_lidar_1 % measurement_1.frame)

            # 如果为异步模式设定
            else:
                # 更新模拟世界
                world.wait_for_tick()
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45

下面展示一下调整属性过后与默认属性的点云差别：图一为调整属性后的点云

b. Semantic LIDAR sensor

最后我们来简单看一下Semantic LIDAR sensor，正如这个传感器的名字一样，这个传感器和普通的激光雷达相比就是增加了语义分割的信息，减少了模拟现实部分的点的drop off和噪声设置，Semantic LIDAR sensor的属性简单如图：

同样，Semantic LIDAR sensor的代码和普通激光雷达没有区别，这里也就不多赘述了。

4.后话：

受篇幅限制，传感器部分就先讲到这里，因为这次传感器介绍的代码都有很强的独立性，这里就不放完整代码了，需要伙伴们在上文代码块中代码的基础上自行修改尝试。

参考文档：

CARLA Simulator

Carla的官方文档写的非常详细和完善，英语能力强的伙伴们一定要活用Cltr+f，很多问题都能在其中找到答案。另外，笔者也在积极学习Carla当中，如果文章有错处希望大家指出，有好的观点以及Carla的经验也都十分欢迎分享，让我们一起共同学习进步，共勉！

下期预告：下期我们将会介绍如何用pygame建立一个监视窗口同时监视多个传感器的画面并且还会讲解如何为我们的场景添加动态的天气系统，以及车辆在不同天气条件下的车灯控制等。