【CVPR2023】利用虚拟仿真环境对车辆检测的对抗性稳健性进行基准测试

Benchmarking the Physical-world Adversarial Robustness of Vehicle Detection

代码：未开源

导读

本文题目是“Benchmarking the Physical-world Adversarial Robustness of Vehicle Detection”，即对车辆检测的物理世界对抗性稳健性进行基准测试。现代车辆检测技术在自动驾驶和智能交通系统中扮演着关键角色，然而，它们往往容易受到对抗性攻击的干扰，导致不正确的识别和决策。为了评估车辆检测系统在实际道路条件下的稳健性，通常需要进行昂贵和耗时的物理实验，这在实际应用中可能不切实际。

为了解决这一问题，本研究提出了一种创新性的方法，利用虚拟仿真环境，以CARLA模拟器为基础，创建了一个名为"Discrete and Continuous Instant-level (DCI)" 的数据集，旨在成为评估车辆检测模型对抗性稳健性的标准基准。该数据集包含了多种场景、视角、天气和纹理变化，能够全面模拟物理世界的复杂性。

本文贡献

提出了DCI数据集作为评估车辆检测在物理世界中对抗性稳健性的基准：作者创建了Discrete and Continuous Instant-level (DCI) 数据集，旨在成为评估车辆检测模型在物理世界中对抗性攻击下稳健性的标准基准。这个数据集包括了多种不同情境、参数和变化，为评估提供了丰富的测试场景。

广泛评估不同检测模型和对抗攻击算法的效果：使用DCI数据集，作者评估了三种不同的车辆检测模型和三种对抗攻击算法在不同情境下的性能。这些实验结果揭示了不同模型和攻击算法在物理世界中的有效性，有助于更好地理解车辆检测模型的对抗性稳健性。

相关工作

对抗性稳健性基准（Adversarial Robustness Benchmark）

先前的研究[6, 7, 9–11, 18, 20]已经提出了多种物理世界中的对抗性示例生成方法，并证明它们是有效的。然而，这些方法使用了不同的数据集进行评估，导致难以进行全面的评估。为了解决这一问题，一些基准（benchmark）已经被提出，包括Dong等人[1] and Liu等人[8]的工作。

Tang等人[16]提出了第一个统一的鲁棒性评估基准RobustART，为对抗性示例提供了标准化的评估框架。在虚拟仿真环境中，已经提出了多种用于车辆识别场景的对抗性攻击算法，CARLA模拟器被广泛使用于这些研究中，因为它具有多样性和可用性。

然而，缺乏一个统一的评估基准，使得难以比较和分析结果。建立一个基准对于促进稳健的车辆检测模型的发展至关重要。

车辆检测的虚拟环境（Virtual Environment of Vehicle Detection）

论文提到了一系列与车辆检测相关的仿真器。基于Unity引擎开发的仿真器，如LGSVL，以及基于Unreal引擎开发的仿真器，如Airsim和CARLA，都支持摄像机仿真。

其中，Airsim仿真器更专注于与无人机相关的研究，而与LGSVL相比，目前对于对抗性安全性的研究更侧重于CARLA仿真器。

CARLA配备了由RoadRunner制作的场景和高精度地图，并提供地图编辑选项。它还支持环境光照和天气调整，以及行人和车辆行为的仿真。

基于上述探索，本研究选择使用CARLA自动驾驶仿真器作为基本仿真环境，进行自动驾驶智能感知算法的安全性分析研究。

本文方法

即时级场景生成管道

在创建DCI数据集的过程中，作者使用CARLA模拟器作为底层渲染引擎，并结合神经渲染器（Neural renderer)来平衡测试的可行性和逼真度。CARLA渲染器提供了最高的逼真度，但不可微分，而神经渲染器则确保了可追踪的梯度，有助于进一步的研究。

以前的方法只在两个渲染器之间传输位置坐标，导致合成图像之间存在显著差异。为了减小两个渲染器之间的差距，作者引入了传输的环境参数。

流程：

• CARLA模拟器首先生成背景图像，并使用模拟器内置的传感器获取位置坐标Pco和环境参数Pen。

• 接下来，作者将Pco和Pen传输给神经渲染器。神经渲染器加载3D模型，并使用接收到的参数生成车辆图像。

• 在渲染过程中，根据CARLA中的采样环境，作者调整神经渲染器的相关设置，以减小两个渲染器之间的差距。

• 然后，作者使用掩码（Mask）分别提取背景图像和车辆图像。完成整个流程后，即可获得一个即时级别的场景。如图2。

DCI数据集设计

本节介绍了Discrete and Continuous Instant-level (DCI) 数据集的设计，该数据集旨在评估车辆检测模型在不同情境下的性能。它可以分为两个部分，分别关注不同方面：

• 连续部分：

• DCI数据集的连续部分包括7个典型场景，每个场景描述了广泛应用的真实场景。

• 为了解决数据分布不规则的问题，研究者采用了多视角的方法，包括司机视角、无人机视角和监控视角，以连续采样真实世界应用背景。

• 为了扩展覆盖范围，他们选择了三种不同的天气条件来生成数据集，包括ClearNoon（晴天午后）、ClearNight（晴天夜晚）和WetCloudySunset（湿润多云的日落）。这部分数据集涵盖了七个不同角度、距离以及超过2000个不同位置。

• 离散部分：

• DCI数据集的离散部分旨在通过选择不同的地图、采样距离、俯仰角、方位角和其他参数来扩展覆盖范围。

• 研究者在地图中遍历道路位置，同时微调光照角度、光照强度、环境雾化和颗粒密度等环境条件，以满足一般测试需求。

• 这部分数据集涵盖了40个不同角度、15个不同距离以及超过20000个不同位置。

DCI数据集的设计充分考虑了多样性，包括不同的场景、天气条件、角度、距离和位置，以确保能够全面评估车辆检测模型在各种情况下的性能。这使得数据集更具代表性，可以更好地反映真实世界中的多样性。

实验

实验设置

对抗性攻击算法的选择

The initial texture，DAS[19]，FCA，ASA：算法的选择是基于它们在生成对抗性实例方面的有效性以及它们与所提方法的兼容性。

使用的车辆3D模型

作者使用了Audi E-Tron，这是先前研究中常用的3D模型。该模型包括13,449个顶点、10,283个顶点法线、14,039个纹理坐标和23,145个三角形，用于模拟车辆的外观和形状。

车辆检测算法的配置

作者评估了提出的方法在三种流行的目标检测算法上，包括YOLO v3、YOLO v6和Faster R-CNN。通过选择单阶段和双阶段典型算法，研究了攻击算法在实际世界中的适用性。目标类别选择为"car"（汽车）。

评估指标

作者使用平均精度（Average Precision，AP）作为评估指标，以测量检测算法在测试数据集上的性能。

实验结果

论文提供了关于不同模型、攻击算法、场景和情境的性能观察和见解，探讨了车辆检测模型在对抗性环境下的稳健性和性能，有助于更好地理解和评估车辆检测系统在实际世界中的可靠性。

结论

在实验中，YOLO v6表现出对攻击的最强抵抗力，平均AP下降仅为6.59%。ASA算法是最有效的攻击算法，平均降低了14.51%的AP，是其他算法的两倍。静态场景具有更高的识别AP，而在相同场景下不同天气条件下的结果相似。这表明对抗性攻击算法的进一步改进可能已经接近了某种“极限”。说明进一步的研究可能需要寻找新的方法和策略来提高对抗性攻击的效果。

☆ END ☆

如果看到这里，说明你喜欢这篇文章，请转发、点赞。微信搜索「uncle_pn」，欢迎添加小编微信「 woshicver」，每日朋友圈更新一篇高质量博文。

↓扫描二维码添加小编↓