特斯拉“纯视觉路线”能去掉ISP吗？_汪浩伟 freetect

特斯拉“纯视觉路线”能去掉ISP吗？
对特斯拉死磕的“纯视觉路线”，持质疑态度的。质疑的点在于：算法的进步，能弥补摄像头物理性能的局限性吗？比如，视觉算法足够牛逼时，摄像头就有测距能力了？晚上就能看见了？
前一个疑问，在2021年7月份被打消——当时，特斯拉被曝已开发出“纯视觉测距”技术。而后一个疑问，则持续存在。如果把摄像头类比为人眼、把视觉算法类比为人的大脑中“跟眼睛配合的那一部分功能”，“视觉算法足够牛逼时，就可以不需要激光雷达”这种观点就相当于说“只要我的脑子足够聪明，眼睛高度近视也没关系”。马斯克提到的HW 4.0将“干掉ISP”的计划，接下来特斯拉全车摄像头的原始数据不会再经过 ISP 的处理，直接输入 FSD Beta 的 NN 推理，这将让摄像头变得超紧急强大。
一． 何为ISP？
ISP 的全称 Image Signal Processor，即图像信号处理器，是车载摄像头的重要构成组件，主要作用是对前端图像传感器CMOS输出的信号进行运算处理，把原始数据“翻译”成人眼可以看懂的图像，只有依赖于ISP，驾驶员才能借助摄像头“看”到现场细节。
基于第一性原理，自动驾驶公司也用ISP，主要是根据周围环境的实际情况对摄像头数据进行白平衡、动态范围调整、滤波等操作，以获得最佳质量的图像。例如，调节曝光以适应明暗变化，调节焦距以专注在不同距离的物体等等，尽量地让相机性能接近人眼。
(图为特斯拉的FSD芯片) 不过，让相机“尽量接近人眼”显然还无法满足自动驾驶的需求——算法需要摄像头在强光及弱光等人眼也“失灵”的场合下也能正常工作。为了实现这一目标，有的自动驾驶公司不得不专门定制能增强摄像头在强光、弱光及干扰情况下性能的ISP。
2020年4月8日，阿里达摩院宣布依托其独有的3D降噪和图像增强算法自主研发出用于车载摄像头的ISP，保障自动驾驶车辆在夜间拥有更好的“视力”，“看”得更清晰。
据达摩院自动驾驶实验室的路测结果显示，使用该ISP，车载摄像头在夜间这个最富有挑战的场景下，图像物体检测识别能力相比业内主流处理器有10%以上的提升，原本模糊不清的标注物也得以清晰识别。
二．干掉