智驾车载Camera基础知识_汽车摄像头入门基础知识

一、前言

在汽车领域，车载摄像头不仅可以用于行车记录和倒车影像等基本功能，还被广泛用于高级驾驶辅助系统（ADAS）和自动驾驶技术中。通过车载摄像头采集的图像信息，可以实现对车辆周围环境的感知和识别，从而提供更准确的驾驶辅助和决策支持。

在自动驾驶车辆中，感知系统由摄像头、毫米波雷达和激光雷达等传感器组成。其中，摄像头作为主要的环境感知传感器发挥着关键作用。它能够提供360°全方位视觉感知，弥补了雷达在物体识别上的局限性，同时也是最接近人类视觉的传感器之一。因此，车载摄像头在自动驾驶领域扮演着非常重要的角色，被认为是关键设备之一。

二、什么是车载摄像头？

车载摄像头的主要硬件结构包括光学镜头（包含光学镜片、滤光片、保护膜等）、图像传感器、图像信号处理器（ISP）、串行器、连接器等器件，这些组件共同构成了车载摄像头，实现了图像采集、处理和传输的功能，为车辆的感知和决策提供重要支持。

下图是某款车载摄像头的爆炸图

上图这种模组是在车载上比较常见的摄像头，除了最外侧的铝壳以及密封圈和镜头之外中间的几层板设计通常包括传感器板、图像处理器板和串行器板。

为什么需要串行板呢？我们都知道汽车的控制器一般距离摄像头位置比较远，使用MIPI进行远距离传输显然是不合适也是不现实的，所以串行器就随之出现了。串行器的作用是将传感器或图像处理器输出的高速MIPI CSI标准图像数据转换为适合长距离传输的串行信号格式，以保证信号完整性。

所以在车辆上，我们需要将MIPI信号转换成例如GMSL（美信叫法）等适合在车上长距离传输的高速总线标准进行传输，所以相机模组内部通常会通过串行板进行总线的转换。另外同轴电缆既可以用来为模组提供电源，也可以传输图像数据。这也是车载摄像头与手机摄像头的最大区别，手机摄像头一般距离SOC处理器较近，可以直接使用MIPI传输，就用不到串行器和解串器这种处理芯片了。

三、硬件组成详细介绍

关于车载摄像头的介绍我们就按照数据的传输来依次进行介绍。数据按照传输路径依次为镜头模组（Lens）、图像传感器（Sensor）、图像处理器（ISP）、加串器（Serializers）。我们就按照这个顺序依次进行介绍。

3.1 Lens（镜头模组）

负责聚焦光线，将视野中的物体投射到成像介质表面，根据成像效果的要求不同，可能要求多层光学镜片。滤光片可以将人眼看不到的光波段进行滤除，只留下人眼视野范围内的实际景物的可见光波段。镜头模组会直接影响成像效果，根据场景不通可以分为长焦、广角等各类镜头。

3.2 Sensor（图像处理器）

图像处理器是镜头模组的核心部件，其基础原理是通过Sensor将Lens上传导过来的光线转换为电信号。常见的Sensor类型包括CMOS和CCD两种。它的作用是将通过光学镜头收集到的光信号转换为数字信号，以便进行数字化处理和存储。

每个像素点只能感受R、G、B中的一种颜色，因此每个像素点中存放的数据是单色光。而像素点的数量越多，摄像头的分辨率就越高，能够获得更加清晰、细节更加丰富的图像。在智能驾驶系统中，高分辨率的图像对于行车全和决策至关重要。

RAW Data是指未经过压缩和处理的原始图像数据，它包含了所有的感光点采集到的信息。在摄像头的工作流程中，经过图像传感器的转换后，输出的数字信号需要再经过图像处理器（ISP）进行处理和优化，才能得到最终的图像结果。

感光单元对应于图像传感器上的每个像素，它们能够将光线转换成电荷，并形成对应于景物的电子图像。因此，图像传感器上的像素数量越多，代表着它能够感测到更多的物体细节，从而使图像变得更加清晰和丰富。

摄像头的分辨率通常以水平像素数和垂直像素数的乘积来表示，例如1280×960表示水平方向有1280个像素，垂直方向有960个像素，两者相乘即为总像素数。这些像素的数量决定了摄像头的分辨率，也直接影响了图像的清晰度和细节表现能力。

3.3 图像处理器（ISP）

ISP模块是摄像头中非常重要的组成部分之一，它能够对接收到的电信号进行处理，并输出可视图像信号，再对图像进行存储和显示。

ISP的主要功能包括噪声去除、坏点去除、去马赛克、白平衡、自动曝光控制等。其中，噪声去除和坏点去除能够帮助消除图像中的噪声和缺陷，提高图像质量。去马赛克则可以消除视频图像中因为采样频率不匹配而出现的马赛克效应，从而使图像更加清晰。白平衡则可以使得图像色彩更加真实和自然。自动曝光控制则可以根据环境光线的变化自动调整曝光参数，从而保证图像在不同的光线条件下都能得到较好的还原。

ISP技术在很大程度上决定了摄像头的成像质量，它能够帮助摄像头在不同的光学条件下都能较好地还原现场细节，提高图像的清晰度和细节表现能力。在智能驾驶系统和其他视觉识别应用中，高质量的图像对于行车安全和决策至关重要。

3.4 加串器（Serializers）

串行器（Serializer）又常被成为串行器，它的作用是将并行数据转换为串行数据。在数字通信和数据传输中，串行器通常用于将并行数据流转换为串行格式，以便通过单条传输线路进行传输。

在图像传感器和摄像头系统中，串行器通常用于将来自摄像头的并行视频数据转换为串行格式，这样可以更方便地通过电缆或其他连接媒介传输。串行器的主要功能包括并行数据输入、时钟生成、数据压缩（如果需要）、串行数据输出等。首先，串行器接收来自摄像头的并行视频数据，并通过内部时钟生成电路将其转换为串行数据。时钟生成电路确保了数据能够按照正确的时序进行传输。

有些串行器还可能包含数据压缩功能，用于减小数据量以便更高效地进行传输。最后，串行器将处理好的串行数据输出到传输线路上，以便传输到接收端进行解析和进一步处理。

串行器在车载摄像头中非常重要，它能够将来自摄像头的并行视频数据转换为更适合传输的串行格式，从而提高了数据传输的效率和可靠性。通过串行器和解串器的协助，摄像头能够更方便地将图像数据传输到其他设备或系统中进行处理和存储。

下图为带有串行器的模组和带有解串器的连接框图，可以更加直观的看出串行器的功能

可以看到一个解串器可以连接四路带有加串器的摄像头模组，并通过I2C、GPIO等对解串器的控制，从而实现仅使用一组MIPI硬件接口即可获取四个模组的图像的效果，大大降低了硬件设计布线的难度和硬件限制。

四、车载摄像头分布

目前车载摄像头根据安装位置的不同主要分为：前视摄像头、环视摄像头、后视摄像头、侧视摄像头以及内置摄像头五种类别。具体在车辆位置上的如下图所示;

• 前视摄像头：安装在车辆前部，通常位于车辆的前保险杠或车顶上。该摄像头在 L2 的ADAS 系统中作为主摄像头使用。其视场角的一般为 30°、50°、60°、100°、120°，检测距离一般为 150 - 170 m。前视窄角摄像头主要用于红绿灯、行人等目标的识别。前视广角摄像头主要用于识别距离较近的物体，视场角在 120° - 150°，检测距离在 50 m 左右。

• 环视摄像头：也被称为全景摄像头或鸟瞰摄像头，这些摄像头通常安装在车辆的四个方向（前、后、左、右），用于全景环视功能的显示和融合泊车功能的视觉感知及目标检测。通过合成这四个方向的图像，算法可以获得全方位的视觉信息，帮助他们更好地理解车辆周围环境和减少盲区。

• 后视摄像头：安装在车辆后部，通常位于车尾或后保险杠上。它可以提供驾驶员车辆后方的实时图像，主要用于泊车辅助，视场角在 120 - 140° 之间，探测距离大概 50 m。

• 侧视摄像头：安装在车辆两侧，通常位于车两侧镜子或侧面。侧视摄像头能够提供驾驶员车辆两侧的图像，侧前视摄像头主要用于检测侧向车辆及自行车，视角为 90° - 100°。侧后视摄像头主要用于车辆变道、汇入其它道路等场景应用，视角为 90°。

• 内置摄像头：这些摄像头通常安装在车内，用于监控车内情况。它们可以用于记录驾驶员和乘客的行为，提供安全监控和记录证据，也可用于提供驾驶员辅助功能（如疲劳驾驶检测）。

几种摄像头在自动驾驶过程中的作用以及可视范围如下图所示：

五、摄像头的解析力

摄像头的解析力（Resolution）也就是指摄像头所能展示的像素数量，通常用像素数来衡量，如 1920*1080 表示摄像头可以呈现 1920 个水平像素和 1080 个垂直像素，整体共计207万像素。

分辨率（Resolution）则是指图像中可分辨出细节的程度，包括对比度、锐度和饱和度等方面。分辨率越高，图像中的细节越清晰，图像质量越好。

因此，摄像头的解析力和分辨率是两个不同但密切相关的概念。摄像头的分辨率受到解析力的制约，同时，分辨率的提升也需要摄像头有更高的解析力。在实际应用中，我们通常会根据需要选择适当的摄像头，以满足特定应用环境和功能需求。

下面是一些常见的分辨率和解析力的关系图：

随着摄像技术的不断发展，车载摄像头的分辨率和解析力都得到了显著提升。30W像素的摄像头，也就是300,000像素的图像模糊，细节不清晰。而现在主流的摄像头，无论是前视的DVR、倒车后视摄像头，还是360环视摄像头，通常都采用100W像素（100万像素）以上的传感器，以提供更清晰、更具细节的图像。

特斯拉Model 3前视三摄像头采用的三个CMOS图像传感器分辨率均为1280 x 960像素（120万像素），这种高分辨率的摄像头可以提供更丰富的图像细节和更清晰的画面，有助于提高驾驶辅助系统对周围环境的感知能力，从而提升驾驶安全性和舒适性。

你可能会有疑问，为什么手机摄像头动不动就千万级别的，为什么车载摄像头不用更高分辨率的呢？难道对于算法来说不是分辨率越高越好吗？

车载摄像头与手机摄像头的应用场景和需求不同，因此采用的技术和配置也有所不同。车载摄像头主要用于自动驾驶或行车监控，而这些功能需要的是高精度的图像数据，而不是拍照时要求的艺术效果。因此，车载摄像头的分辨率与像素并不需要与手机摄像头相比，只需达到满足机器视觉算法的数据需求即可。

此外，车载摄像头的传输方式也有所不同。相对于手机采用的MIPI直接传输方式，车载摄像头采用的是串行传输方式，因此其传输速度和带宽都会受到一定的限制。而且对于算法来说更高的分辨率意味着单张图片需要处理的数据量更大，但是对于算法来说只需要能够看到前方车辆即可，而不用清晰到能看到车身上的灰尘，这种数据量的提升不但没用还会降低算法的处理速度。所以在保证数据质量的前提下，车载摄像头的分辨率和像素也需要做出一定的取舍。最终，车载摄像头的配置应该是在满足实际应用需求的基础上，平衡性能和成本，以提供最优的解决方案。

总结

计算机视觉技术的不断发展和进步，为自动驾驶技术的实现提供了有力支持。相机作为一种主要的传感器，在自动驾驶中发挥着越来越重要的作用。相机可以对车辆周围环境进行高精度的感知和识别，从而实现自主导航和安全驾驶。

在自动驾驶中，相机主要用于目标检测与跟踪、车道线和道路边缘识别、交通标志和信号灯识别等方面。通过相机获取的多维图像信息，可以让自动驾驶系统更加精准地识别和理解周围的环境，从而提高自动驾驶的安全性和可靠性。