理想照进现实，自动驾驶必须迈过的坎_机器人是冯诺依曼架构吗

【导读】根据世界卫生组织的数据，汽车事故是全球第二大死亡原因，每年约有 130 万人死于交通意外。其中中国的死亡人数约 260,000 人，美国约 40,000 人。发展中国家的汽车保有量还在增长，进而导致全球交通事故死亡人数继续上升。美国国家公路和运输安全局发现，在美国有超过 92% 的交通事故案例是人为错误引发的。一些分析表明，用自动驾驶汽车取代人类驾驶员，每年可以减少多达 100 万的全球死亡人数。

自动驾驶汽车本质上是与人类驾驶车辆具有相同要求的机器人—— 它们应该具备驾驶和停车技能、与其他汽车和基础设施通信的能力、导航技能以及获取能源的能力。行业利用人工智能技术来训练自动驾驶车辆行驶和停车、读取路标以及检测高速公路上的物体，然后处理检测结果以做出决策。

那么在未来，人类会在陆地、海洋和空中采用自动驾驶交通工具（AV）来解决一系列社会问题吗？要想实现这样的目的，自动驾驶还需要迈过哪些坎？

汽车感知与决策

自动驾驶汽车能够使用自然语言处理技术来阅读路标内容。检测物体（车道、行人、自行车、动物、碎片、其他车辆等等）是更加复杂的任务。训练人工智能从一个角度检测物体的成本是很高的，并且需要大量数据。人工智能实际使用的数据是物体的边缘，前者通过训练来检测各种模式，直到达到所需的准确率为止。

感知算法模块存在问题：

• 2D图像语义分割、3D目标检测、3D语义分割的精度下降

  • 训练样本数量偏少

  • 高的标注成本

  • 不平衡的训练数据

  • 不完整的场景覆盖

• 模型不可解释、需要大量的数据、训练过程不可控、鲁棒性不够

• 多传感器融合的耦合性较高，真正异构的多传感器融合比较少

• 没有全天候，全场景的覆盖研究

  • 雨天、雪天、雾天

  • 山路、乡村路、冰雪路

• 对高动态的场景缺少在线验证的方法，无法评估正确性与稳定性

规划与决策存在问题：

• 环境感知系统不太准确，导致预测模块(意图与轨迹)结果不准确，导致自车与目标博弈算法失败，使得决策系统更倾向于保守的规则(停车)

  • 比如评估当前场景变化莫测，系统很难避障，系统就会选择停车

  • 如果与后车间距又太小，就会一直等着，直到前方可通行

• 根据划分力度的不同，会造成场景的数量不断的增加

  • 几百万到几千万量级都是有可能的，无法去评估

• 超低速情况也是一个主要挑战

  • 车辆设计都会有一个待速的要求，如果低于这个速度了可能会熄火，尤其是内燃机这种车

  • 在待速情况下很难走出预先设定的轨迹，不够细腻，造成避障与会车的失败

  • 人由于在驾驶可以含着刹车，并且开车处于不断试探的过程，可以不断博弈，而自动驾驶就无法很好的cover

• 决策的伦理性和责任认定还不成熟

根据波兰尼悖论，某些技能（例如骑自行车、下棋和围棋以及驾驶汽车）不适合通过指令来学习。当 AV 检测到一个物体时，只有在你能够预测所有可能场景的情况下，用来响应这个物体的编程规则才能真正行之有效。但为所有可能的情况编写规则太复杂了。于是自动驾驶汽车会从经验中学习如何自己做决策和导航。

• 一种选择是让 AV 学习如何通过模拟训练来做决策

  • 截至 2020 年，Waymo（前身为谷歌自动驾驶汽车项目，它是 Alphabet 的子公司）已经模拟了 150 亿英里的行驶里程，其中真实里程仅为 2000 万英里

  • 通过模拟训练，自动驾驶汽车可以获得更多经验并更好地了解它们可能遇到的各种可能场景

  • 不幸的是，由于训练人工智能的数据与现实世界中的数据之间存在差异，机器学习过程无法判断模拟训练中使用的哪些模型在真实世界中是行之有效的

• 另一种选择是在政府指定的自动驾驶汽车试验场上测试汽车

  • 这些试验场有定制的高速公路、停车场、十字路口和通信网络，车辆通过这些网络相互“对话”并与基础设施“对话”

  • AI 软件、底层处理硬件和传感器负责 AV 的决策

由于目前的 2 级和 3 级自动驾驶汽车在高速公路上需要人类驾驶员监督行驶，因此在许多情况下，它们不被允许在高速公路上做出自主决策。这些测试道路旨在将 AV 暴露在尽可能多的常见和边缘情况下，尽量面对极端条件下出现的问题。AV 试验场提供了真实世界中存在的种种条件，但比模拟训练要昂贵得多。

数据处理和通信

今天的大多数数据处理技术都使用了冯诺依曼架构，其中数据存储器和处理器位于两个不同的位置，发展到现在就是流行的云计算技术。当摄像头和传感器检测道路上的物体并生成数据时，处理器需要快速分析数据并就加速、制动和转向操作做出实时决策。但是这种能力会受到延迟问题的影响。

解决延迟的一种方案是将处理和数据存储转移到更靠近需要改善响应时间的位置。例如，边缘计算技术将处理器放置在生成数据的位置。大多数新型人工驾驶车辆会包含 30 到 100 个电子控制单元（ECU），用于处理数据并控制车辆中的电气系统。这些嵌入式系统（通常位于仪表板中）控制多种应用，例如安全气囊、转向、制动器等。ECU 负责处理由 AV 中的摄像头和传感器生成的数据，并对车辆的运行方式做出关键决策。

由于通信有时会不可靠，AV 还会利用传感器融合或冗余预防系统出现单点故障。例如，如果汽车的传感器出现故障，它还可以依靠 GPS 技术来安全导航。与使用群体智能的细菌、鱼类和鸟类类似，自动驾驶汽车也可以通过相互通信来改善导航决策。研究人员目前正在研究雾计算方法，这种方法将服务器放置在高速公路上，以实现更快、更可靠的导航和通信数据分析。与云相比，雾更加靠近地面，这也是雾计算的名称来源。

解决延迟的另一种方案是寄希望于存算一体化技术。存算一体技术（PIM ：Processing in-memory）被视为人工智能创新的核心。它将存储和计算有机结合，直接利用存储单元进行计算，极大地消除了数据搬移带来的开销，解决了传统芯片在运行人工智能算法上的“存储墙”与“功耗墙”问题，可以数十倍甚至百倍地提高人工智能运算效率，降低成本。

但从消费级到企业级市场的应用普及，可能需要十年甚至更长的时间来扎实基础，升级完善。当前，存算一体化芯片研发还需要面临可靠性和密度问题，需要更多的技术验证和行业实践应用：

• 技术层面：存算一体芯片涉及器件-芯片-算法-应用等多层次的跨层协同

• 细分应用场景的不同性能需求决定了神经网络算法与芯片的设计，算法依赖神经网络框架、编译、驱动、映射等工具与芯片架构的协同，芯片架构又依赖器件、电路与代工厂工艺

• 器件物理原理、行为特性、集成工艺都不尽相同，需要跨层协同来实现性能（精度、功耗、时延等）与成本的最优

• 产业生态层面：作为一种新兴技术，想要得到大规模普及，离不开产业生态的建设，需要得到芯片厂商、软件工具厂商、应用集成厂商等的大力协同、研发、推广与应用，实现性能与场景结合与落地

电池和充电系统

为了让电动汽车（EV）大规模普及，研究人员必须设法让电池更便宜、更轻，并增加其能提供的续航里程。大多数电池提供的续航里程约 200-260 英里，而特斯拉 Model S 的续航里程达到了 370 英里，代价是其锂离子电池组的重量达到了 1,200 磅。因此，电动汽车一方面要面对电池价格和重量之间的权衡，另一方面小电池还需要更频繁的充电。

研究人员正在研究几种替代方案。更换电池方案太昂贵且不切实际。为 EV 充电需要电缆，而对于 AV 来说，还需要机器人或人类将电缆插入汽车和充电站。固态电池可以存储更多能量、充电更快，但它们仍在开发中。

研究人员还在研究更高效的电池充电方式。无线充电系统提供了一些优势。它们将减少 EV 对充电站和电池组容量的需求，这也能降低车辆的成本和重量。电能无线传输需要两个电磁线圈，其中一个线圈位于地面并连接到电源，另一个线圈安装在车辆中，与车辆的充电系统和电池相连。能量通过两个线圈之间的磁场传递。该技术仍在开发中，因为磁线圈之间的能量传输效率还不够理想。

谷歌和高通正在开发一种系统，可以在高速公路上嵌入充电线圈条，让汽车可以在行驶时充电：

• 高通已经证明，即使车辆以 70 英里 / 小时的速度行驶并且表面被水覆盖，也可以在行驶中充电

• 使用这种方法时电池就用不着充电了，因为在路上行驶时不会消耗电池电量

• 这将消除人们对 EV 续航里程的担忧，并可能让电力成为汽车的标准能源

• 然而，人类长期暴露于弱磁场中时身体健康受到的影响目前尚不清楚。因此需要在这方面进行更多的研究以确保人身安全

陷入误区：算力堆不出自动驾驶

芯片最终是为车企的车载计算平台服务的。行业需要思考一个问题是：在“软件定义汽车”的情况下，解决智能驾驶系统计算平台的支撑问题，是否只能通过芯片算力堆叠来实现？

是不是唯芯片算力马首是瞻呢？显然不是。

提升硬件很重要，但不能陷入“唯算力论”的怪圈。

我们说“数据是生产资料”，而提供处理数据的芯片是工具，不可能工具反客为主成为核心。工具是必备的，但是更重要的核心是跑在上面的软件。

芯片就是软件的舞台，衡量芯片优劣的标准，要看芯片之上的软件能否最大化地发挥作用。当然不是说算力不重要，算力和软件之间需要有效匹配。两款相同算力的芯片比较，能让软件运行得更高效的芯片才是“好芯片”。

决定算力真实值最主要因素是内存（ SRAM和DRAM)带宽，还有实际运行频率（即供电电压或温度），以及算法的batch尺寸。

• 谷歌第一代TPU，理论值为90TOPS算力，最差真实值只有1/9，也就是10TOPS算力，因为第一代内存带宽仅34GB/s

• 第二代TPU下血本使用了HBM内存，带宽提升到600GB/s（单一芯片，TPU V2板内存总带宽2400GB/s）

• 最新的英伟达的A100使用40GB的2代HBM，带宽提升到1600GB/s，比V100提升大约73%

• 特斯拉是128 bitLPDDR4-4266，内存的带宽：2133MHz*2DDR*128bit/8/1000=68.256GB/s。比第一代TPU略好（这些都是理论上的最大峰值带宽）其性能最差真实值估计是2/9。也就是大约8TOPS

为什么会这样？这就牵涉到MAC计算效率问题。
如果你的算法或者说CNN卷积需要的算力是1TOPS，而运算平台的算力是4TOPS，那么利用效率只有25%，运算单元大部分时候都在等待数据传送，特别是batch尺寸较小时候，这时候存储带宽不足会严重限制性能。但如果超出平台的运算能力，延迟会大幅度增加，存储瓶颈一样很要命。效率在90-95%情况下，存储瓶颈影响最小，但这并不意味着不影响了，影响依然存在。然而平台不会只运算一种算法，运算利用效率很难稳定在90-95%。这就是为何大部分人工智能算法公司都想定制或自制计算平台的主要原因，计算平台厂家也需要推出与之配套的算法，软硬一体，实难分开。

自动驾驶芯片的竞争壁垒在于算力利用率和可用性。芯片厂商根据软件提供底层的硬件支持，在整车设计里提供的价值更高，在供应链里的议价能力更强。与Tesla自研汽车中央计算设备相比，软硬件开放式平台的解决方案潜力大。

算力也不能说无限增长，芯片PPA（功耗、成本和面积）都是很要命的。

这是因为，对于车载AI芯片来说，算力指标重要，能效比更重要。在传统芯片行业，PPA是最经典的性能衡量指标。而现在出于自动驾驶对算力的追求，业界还是把“峰值算力”当作衡量AI芯片的主要指标的话，就导致了一种“唯算力论”的偏颇。

以英伟达的芯片为例，它GPU的功耗是最高的。Orin、Xavier的利用率基本上是30%，怎样优化基本都是30%。不同于英伟达的GPU方案，高通、mobileye、华为，包括国内这些创业公司都走的是ASIC路线。ASIC芯片针对不同的神经网络模型去优化，基本上可以做到60%~80%之间，好一点的可能会做到80%再高一些。

对于车企来说，在最高性能模式下，如果自动驾驶控制器的芯片功耗级别较高，即便其自身性能强劲，但也会引发某些不可预知的隐患，如发热量成倍增加，耗电率成倍增加，这些结果对于智能电动车来说毫无疑问是颗“雷”。

现在算力的军备竞赛是已经掀起来了，但是芯片的算力本质上对于智能驾驶系统还是必要不充分的条件，芯片算力的无限膨胀和硬件预埋不会是未来的趋势。

公众接受度

人类驾驶员和自动驾驶汽车都会遇到需要做出生死攸关决策的情况。例如，紧急情况下自动驾驶汽车应该转向撞死行人，还是什么都不做，结果导致自己搭载的乘客死亡呢？

麻省理工学院计算机科学家 Iyad Rahwan 通过一个名为 Moral Machine 的交互式网站对参与者进行了关于不同情景下道德困境的调查。该项目吸引了来自 233 个国家和地区的超过 200 万参与者，他们代表不同的宗教、国家和文化。研究发现，人类的道德准则并不普世，并不是每个人都平等地重视人的生命，或儿童和老人的地位。

尽管许多研究人员认为，从长远来看，由于人为错误减少，自动驾驶汽车最终会变得更安全，但 2018 年路透社 / 益普索的一项民意调查表明，社会还没有准备好大规模推广自动驾驶汽车。在不具备关于自动驾驶汽车的经验或知识的情况下，只有 27% 的受访者（38% 的男性和 16% 的女性）表示他们会觉得乘坐无人驾驶汽车很舒服。虽然年轻的受访者通常对自动驾驶汽车更感兴趣，但 54% 的司机认为与它们共享道路会让自己感到不够安全。

此外，自动驾驶汽车本质上是使用计算机和传感器的物联网设备，这使得它们很容易受到黑客攻击。通过互联网或车对车通信链路，黑客可以向汽车提供不准确的信息来迷惑它们，甚至接管其控制权：

• 使用 了“丰田的防撞系统让普锐斯刹车

• 使用吉普切诺基的巡航系统来让车辆加速

• 利用吉普的自动泊车系统诱使汽车认为它正在停车，于是错误地转动方向盘，其实它是在以每小时 80 英里的速度行驶

广泛普及还是第三个 AI 冬天？

新兴技术的发展并不遵循线性路径。相反，它们会遵循炒作和失败的 S 型曲线。驱动自动驾驶汽车的一系列技术和基础支持设施具有多个 S 型曲线。

自 1950 年代以来，人工智能经历了两个炒作周期，最终引发了两个人工智能寒冬，其中行业投资和公众利益都大幅缩减。由于自动驾驶汽车涉及多种技术，预测自动驾驶汽车的发展是一项极其复杂的任务。

自动驾驶汽车最糟糕的情况是它们无法跨越最初的技术障碍。如果马斯克在你的家乡部署 500,000 辆自动驾驶汽车，一切都不会顺利走下去，因为当前的交通基础设施是为人类司机设计的，而不是无人驾驶汽车。如果道路没有很好的标记，自动驾驶汽车将无法安全地在车道上行驶。

此外，当前的车对车和车对基础设施通信系统、实时数据处理技术以及电池和充电技术也无法充分支持大量 AV 的部署。然而，如果行业没有迈出第一步，基础设施和监管层面面临的障碍就无关紧要了。

虽然导航和自然语言处理等 AV 技术正逐步向自动化方向发展，但其他技术仍有很长的路要走。用于计算机视觉和决策的硬件和软件尚处于开发阶段。包括纽约大学的 Gary Marcus 在内的 AI 研究人员警告说，如果我们过度宣传 AV 所需的 AI 技术，我们可能会经历第三次 AI 寒冬。

在七十年前启动人工智能技术研发的达特茅斯会议，以及之后的两次人工智能寒冬之后，我们还是在研究狭义的人工智能、因果关系、理解神经科学和常识等问题。我们现在正处于人工智能的第三波浪潮中，它专注于克服深度学习的局限性。

尽管存在这些技术障碍，但目前人们乐观地认为人工智能研究人员最终将解决这些问题。DARPA 的资助项目和一些人脑研究计划专注于克服深度学习的局限性，试图更好地理解人脑的复杂性。

汽车行业和风险投资家——主要来自美国、中国、德国、英国和以色列——已经在与 AV 相关的技术上投资了数十亿美元。中国政府设定了到 2030 年 10% 的汽车达到 4/5 级自动驾驶的目标，这可能会加剧中国厂商与硅谷的竞争，并刺激相关创新的普及速度。

尽管清晰认识到自动驾驶的发展面临诸多难点，但我们应该对该赛道的发展仍持乐观态度。自动驾驶的完全成熟、自我盈利需要漫长的时间，发展不会特别快，但一旦快起来就是标配。中国市场有两亿多辆汽车，如果都搭配自动驾驶，那么市场空间将非常大。

在广阔的市场面前，即便困难重重，自动驾驶玩家们仍然心甘情愿地投入到这一场硝烟弥漫的持久战中。或许，这也正是投资和技术的魅力所在。

德国哲学家马丁·海德格尔在其存在论名著《存在与时间》里面用理性的推理出了一个生命意义上的倒计时法—“向死而生”。

对于每一个技术与产品而言，存在都是具有阶段性的，无论是胶卷时代的终结、2G、3G技术的淘汰，我们看着一个个技术发展成为主流，再看着其被更新的技术所替代，每个技术与产品也始终在向死而生的道路上。

自动驾驶作为下一代的新兴技术，在发展的过程中难免会遇到许多彷徨，但如今的进步也是肉眼可见的。作为从业者也谨需铭记，循序而不急躁，等待并心怀希望，只要能够在逆境坚持，在困境中呐喊，属于自动驾驶的未来也会是璀璨的。

-----END-----

声明：偶尔转载的文章出于非商业性的教育和科研目的，并不意味着支持其观点或证实其内容的实行，欢迎大家评论发表自己的意见。版权归原作者所有，如转载稿涉及版权等问题，请立即联系我们，我们会予以更改或删除相关文章，保障您的权利！