【笔记】机器视觉——工业相机_工业面阵相机 寿命

引言

笔者整理了机器视觉中与工业相机相关的知识点，主要是参考一个B站UP主的视频内容，个人觉得UP主概括的很好，大家可以回访支持一下！
链接：机器视觉

1 机器视觉产业链

• （1）材料加工商
  主要负责材料的加工、是产业的最上游，如：视觉硬件的外壳、光源的LED、相机的感光芯片PCB、线材、光学镜片等。他们对于这个行业的参与度相对不会很高，毕竟目前机器视觉产业的量相对于消费品来说只是冰山一角，他们只要负责好按照下游的要求保质保量地把材料加工好。
• （2）器件商
  包含了：相机、镜头、光源等重要器件地研发、生产及销售。是整个视觉产业最主要地玩家。器件商们除了研发、生产和销售，还有一个重要地岗位：技术支持。主要地工作是：针对不同项目输出高性价比地视觉硬件搭配，确保软件能够获得一张张高质量地图像。
• （3）系统集成商
  是这个行业最核心地环节，他们利用视觉硬件获取到地图像，通过Halcan、OpenCV等视觉底层软件并结合硬件输出整套地机器视觉系统，满足设备地定位、识别、测量、检测等需求。以前视觉软件几乎是国外软件的天下，近些年国内研发的视觉软件开始快速成长，拥有了自己的底层算法并越来越稳定。
• （4）设备商
  负责的是研发设计，生产组装及销售自动化设备，是整个产业的中游，机器视觉产品的直接下游。也有设备商会招聘软件工程师，把系统商的活给做了，他们会直接采购器件。设备的种类很多，从读码、贴片、点胶、测量仪等到检测设备、生产组装设备等。
• （5）终端用户
  简而言之就是需要购买设备做生产的厂家。如3C行业（结合电脑、通讯、和消费性电子三大科技产品整合应用的资讯家电产业）的厂商，或是给3C行业生产提供零件的厂商都属于终端。他们是整个视觉项目的发起方，有些厂商会有自己的自动化部门，甚至是视觉团队。所以也会跨过中间某个环节直接采购器件，只要抓住
  终端信息，就不怕找不到需求。
  所以整个视觉行业牵涉到的是整个制造业，近十年异常火爆，主要的行业有：3C电子产品、芯片半导体、5G通讯、PCBA、显示屏、摄像头模组、汽车、新能源、新材料等。不管是销售还是研发都有一个宗旨，终端为王。

2 机器视觉

2.1 机器视觉综述

机器视觉逐渐渗入社会生活的方方面面，在人脸识别、图片识别、视频监控、3C应用等各领域几乎都能看到机器视觉的身影，对于工业领域而言，机器视觉的应用更是大大降低了高危作业的危险系数，保障了工业生产的安全性和高效性。机器视觉是人工智能范畴最重要的前沿分支，也是智能制造装备的关键零部件，它在工业生产中应用广泛，包括视觉引导与定位、识别、测量等，随着工业数字化、智能化的逐渐深入，工业场景对机器视觉的需求不断增加，推动了机器视觉的蓬勃发展，机器视觉是通过光学的装置和非接触的传感器，自动地接收和处理一个真实物体的图像，以获得所需信息或用于控制机器人运动的装置。其产业链大致分为上游零部件，中游装备以及下游应用。上游零部件包括光源、工业镜头、工业相机、图像采集卡、软件及算法平台，是产业链中绝对核心的环节。 中游准备包含视觉引导装备、视觉识别装备、视觉检测装备及视觉测量仪器。能够帮助企业提高生产柔性和智能化。下游应用涉及的领域较为广泛。包括3C电子、汽车、半导体、医疗设备等。

2.2 机器视觉怎样运作

机器视觉包含四个主要的部件：光源、镜头、相机、系统。

（1）光源：主要负责针对不同被测物提供特定的角度、形状、强度等的照明，使相机能拍摄到必要信息且适合系统识别图像，一幅稳定、对比度清洗的图像很大程度上决定整个机器视觉系统的成败。光源的选型对整个视觉系统的成败起到了70%的关键性作用。

（2）镜头：主要负责调整相机成像的角点、焦距、光圈、视场、工作距离、景深、分辨率等等。
（3）相机：主要负责把芯片接收到的光转化成电信号，然后传输到电脑。相机、镜头、光源组成一套光学系统，对被测物拍出一张张带有明显被测特征的照片并传输到电脑。
（4）系统 ：主要负责对拍摄过来的图像做判断，一般是根据被检测的特征与其背景的灰度差来判断，最终输出位置、条码二维码、尺寸、缺陷等信息。机器视觉最常用是在工业自动化上，自动化设备利用机器视觉系统识别出各个位置条码二维码、尺寸、缺陷等信息。进而利用机械手或对应的自动化器件对产品进行对应的操作。

2.3 机器视觉的应用——定位

在工业自动化设备中，设备如果没有物体的位置信息，它只能让机构做简单重复的运动，有了机器视觉就相当于给设备提供了眼睛，让设备的机构准确定位到物体上，然后实施对应操作。
其原理是：通过光源、镜头、相机组成的硬件光学 系统，拍摄到物体的特征，如：Mark点、物体的轮廓等，让视觉准确地抓取到零件的位置，定位应用在自动化设备的方方面面，它大大地提升了生产的柔性化，经过几年的发展，它也是一个充分竞争的细分市场。

2.4 机器视觉的应用——识别

图像识别，简单来讲就是使用机器视觉处理、分析和理解图像。设别各个对象和目标，如二维码、条形码、生产日期等。最典型的图像识别是识别二维码。

2.5 机器视觉的应用——测量

视觉测量就是利用机器视觉对被测物进行尺寸测量，由于机器视觉有非接触式和零磨损的特点，它不需要像传统人工测量一样对产品进行接触，有效地避免了人工测量对产品做成的二次伤害，而且它测量精度高，速度快，测试使用场景广泛是在五金加工件、电子元器件方面，有效地把零件或产品的重要尺寸控制在其公差范围内，所有尺寸都通过系统来判断其合格与否，避免了人工的不确定性，对零件和产品的工艺品质，一致性和稳定性有非常大的提升，还有它对精密仪器的制造水平也有特别明显的提升

2.6 机器视觉的应用——检测

视觉检测难题的三个被测物的主要特征

1. 检测对象高反光
2. 检测对象高透光
3. 检测对象高吸光

视觉硬件系统其实重点是在光学设计上，而一旦被测物有以上三个特征之一，很可能会让光学设计难度提升一个层次，一旦项目难度立起来，项目必须要集合光、机、电、算一起开发。

3 视觉光源

3.1 光源的作用

• 1、照亮被测物，抵抗环境光的干扰。在视觉硬件系统中，主要是光学设计，光源就给被测物提供特定的照明，而且这个照明要能够抵抗环境光的干扰，否则最终拍出来的图像会非常不稳定。

• 

• 2、让相机拍摄出带明显特征的图像。一幅好的图像应该具备以下特点：

• （1）对比度，北侧物体的目标与其背景一般要相差30各灰度值以上。

• 

• （2）均匀性，图像要求整体均匀，否则会影响图像处理

• 

• （3）亮度，避免亮度不足或者过曝的情况

• 

• （4）稳定性，同一光源在连续多次拍摄照片的时候，光源要保证提供稳定一致的照明，否则图像会前后不一致，影响系统识别。同一款光源也要保证其性能统一。

机器视觉系统的核心是图像的采集和处理，一幅好的图像可以提高整个视觉系统的稳定性，也能大大降低软件算法的难度。很多项目立项之后第一步就是要做光源选型，光源的选型对视觉的成败起到70%的作用，其重要性不言而喻。

为什么要光源选型呢？

因为目前没有一个通用的机器视觉照明设备，针对每个不同项目，需要选择适合的照明装置，以达到最佳效果，所以光源才衍生出如此多的系列和定制的光源，也正因如此，很多人都觉得光源的入行门槛低，利润高。

3.2 LED的优势

视觉光源常用的类型有LED、激光、卤素灯、荧光灯等，而目前市面上大部分用的发光体都是LED，因为LED对比其他发光体有着以下优势：

1. 响应速度快，目前技术已经做到纳秒级别
2. 使用寿命长，10万小时，光衰为初始的50%，闪频使用寿命会更长
3. 光电转化率高，相对节能环保
4. 制定化强，可选择不同波长、色温、显指等光学参数

3.3 光源的指标

光源的性能指标有许多，如光通量、发光强度、照度、均匀性、平行性、色温、显指、颜色等等

1. 颜色，光的本质是一种电磁波，可见光只占其中一小部分，其波长在400nm-780nm之间，视觉光源常用的是红色、绿色、蓝色和白色的光源。视觉光源还会用到紫外光（365、375、385、395、405nm），红外光（850nm和940nm）

2. 色温，是表示光线中包含颜色成分的一个计量单位，单位为k.视觉光源常用的是6000k-7500k

3. 均匀性，通常是照度均匀性，是衡量光源的一个重要指标，也是验收标准里面必要的一项指标，不同的光源和不同的要求均匀性不尽相同

4. 光照度，被照面单位面积接收的光通量，单位为勒克斯，是机器视觉最常用的一个衡量光源照射强度的指标

3.4 光学的基础知识

1. 光沿直线传播
2. 光的反射定律，反射光与入射光、法线在同一平面上
3. 光的折射，当光从第一媒质射入第二媒质时，在平滑面上，部分由第一媒质射入第二媒质后即发生折射
4. 光的散射，光通过不均匀介质时一部分光偏离原方向传播的现象，偏离原方向的光称为散射光
5. 光的偏振，光是电磁波是电场与磁场交互感应进行的一种能量传播，震动方向由电矢量表征，在光的传播过程中，光矢量的横向震动状态相对于传播方向表现出不对称性，称之为光的偏振性，其中偏振片是一种光学装置，它只允许振动方向平行于偏振方向的光通过，而垂直于偏振方向的光被截止
   偏振片最直接的用出就是屏蔽杂散光的干扰

3.5 光源的合成与互补

从紫色到红色的颜色渐变中，都是由红、绿、蓝三种颜色的其中两种调配出来的，只是各个颜色的比例不一，所以光源单个发光体可选颜色有R（红）G（绿）B（蓝）还有W（白色）基本上能够适应大部分的使用场景
互补色是色环（可见光波段的颜色首尾相连接组成一个圆环）中正好相对的颜色，使用其互补色照射物体时，物体的特征在图像中显得比较暗，若我们根据色环，用其相邻的颜色照射，物体的特征在图像中显得比较亮
例如：被测物特征表面是橙色

1. 用红光打亮被测物，红光就会被被测物特征表面的橙色反射，图像就会呈现亮光
2. 若用蓝光打亮被测物，蓝光会被被测物特征表面的橙光吸收，图像呈现黑色
   

3.6 光源的选型

就是找到能够打出项目被检测特征的光源，而且要尽可能过滤或淡化其背景，同时要兼顾性价比，光源选型一般经过以下过程：

1. 技术支持工程师首先要明确的是项目的需求
2. 技术会通过观察被测物，找出被测物的特征于背景的差异
3. 根据被测物特征与其背景之间的关系初步确定光源类型、颜色等
4. 拿出对应的光源测试
5. 根据客户需求，拍出对应的图像，从而选出适合客户使用的光源
6. 定制光源的方向：照射方式、照射角度、照射强度、尺寸大小、颜色、色温、均匀性、安装方式、散热方式、供电方式等

3.7 明场和暗场

明场： 是指被测物的被检测特征打黑或打暗，其背景打白或者打亮。如图，要检测的特征是字符，最终图像上字符呈黑色，背景呈白色

暗场： 被测特征打白或者打亮，其背景打黑或者打暗，如图

在光源选型时，明场或者暗场本质上没有优劣之分，关键还是看图像质量

3.8 背光的照射方式

光源直接对着照相机照射的打光方式。通常应用于：有无检测，边缘或轮廓检测，透明物的脏污和异物检测等等，其结构相对简单，效果稳定，亮度足够。
背光源有几种：

1. 普通的背光源，其主要组成就是LED灯板+漫射版+机加工结构件其照射出来的是一种散射光，在图像上必须看不到灯珠影子
2. 平行背光源，在普通背光源的漫射版上添加一组棱镜膜
   
   让本来的散射光的照射方向能够更多往其正面 的照射方向汇集
3. 远心平行背光，这是一种准直的平行光源，一般会用在高精度的尺寸检测上

3.9 前光的照明方式

1. 低角度照射方式，通常是指入射光与水平面的夹角在0-40°之间，一般应用于尺寸检测、轮廓缺陷检测，异物赃脏污检测、表面划伤检测等
   图像一般为暗场，常用的光源是：低角度环形光源、条形光源、线光源等
2. 高角度照射方式，通常是指入射光与水平面的夹角在45-90°之间，一般应用于字符和条码的识别或检测，有无识别、定位、表面缺陷检测等
   
   图像一般为明场，常用光源是：高角度环形光源、条形光源、线光源等
3. 同轴照明，是指光源通过一片光学分光镜，让光线与被测物垂直，同轴的意思是光源的入射光和被测物的反射光在同一轴上。一般应用于表面是高反光分被测物，常用光源是：同轴光源、点光源等
   
4. 散射光照明，通常是一种无灯珠影子的照明，通过在LED灯珠前加一块扩散板或通过一些特殊涂层把光反射到被测物的方式实现，一般应用于：表面不平整物体的识别、测量、定位、检测等。常用光源是：圆顶光源，环形无影光源，方形无影光源等

4 工业镜头

只要是摄像摄影，就需要镜头，譬如，单反相机需要一些专业的镜头，手机的摄像头也有专门的镜片组。

4.1 镜头的作用

如果没有镜头，相机接收到的是任何方向照射和反射过来的光，进而相机的感光芯片会把所有接收到的光变成电信号，呈现一幅杂乱的图像因为镜头的存在，才能让我们把想要的影像清晰地拍下来。在机器视觉领域也一样，光源照射出来地光，被被测物透射或反射后，必须要经过镜头才能进入相机芯片 从而形成一幅我们想要地图像，所以镜头担当地角色非常重要，工业镜头是由透镜组、光圈与焦距调节机构，固定零件、连接机构组成其主要功能是调整相机成像的其控制着成像系统的工作距离、视野大小、分辨率等重要指标

4.2 焦点与焦距

工业镜头里的透镜组，是其产品最重要最核心的部分。而透镜有个重要的指标当平行光在射入凸透镜时，光线会汇集到一点后，再以锥形扩散，而汇集到的这个点就是焦点，焦点到光心的距离就是焦距。在工业镜头的透镜组中，像方平面到焦点的距离就是焦距焦距的长短决定了相机的成像大小，当对同一距离的被测物进行拍摄时，镜头的焦距越长，其所呈现的图像越大，反之亦然工业镜头的焦距主要有：

4.3 光圈

光圈时镜头中改变中间空大小的机械装置其作用是控制镜头的通光量通常用光圈系数来描述其大小，计算公式为：
光圈系数一般是一根号2倍递增，其数值越小，光圈的孔越大，通光量也越多，其在图像上呈现的亮度也会越高其常用的基数为：在同一单位时间内，上一级的通光面积是下一级的两倍

4.4 景深与其影响因素

拍摄时不调整焦距、光圈的情况下，一定有一段可让被测物清晰成像的空间深度，这段就是景深距离如图：被测物从前景深到后景深移动的时候，在其他参数不变情况下，图像全程能够保持清晰，这段距离就叫景深
其主要影响因素有以下几点：

• 光圈越大，景深越小，光圈越小，景深越大
• 镜头焦距越长，景深越小，焦距越短，景深越大
• 拍摄距离越远，景深越大，距离越近，景深越小
• 

4.5 工作距离与视野

被测物与镜头最前端的距离称为工作距离

• 但被测物不是在任何距离都能清晰地拍摄到，所以镜头地工作距离有一定地范围
• 视野（FOV），简而言之就是镜头能够观测到地实际范围
• 视场角，就是以被测物图像可通过镜头地最大范围的两条边缘构成的夹角
• 当焦距一定时，视场角越大，视野就越大，当视野与工作距离一定时，焦距越长，视场角越小

4.6 后截距、分辨率、放大倍

• 1 法兰距，是指法兰面到感光芯片的距离

• 机械后截距，是指镜头最后的机构到感光芯片的距离

• 光学后截距，是指镜头到后端的镜片表面到感光芯片的距离

• 分辨率是指光学系统科技测到的被测物最少的可分辨特征尺寸，能够分辨的细节越细，分辨率越高，也可以说精度越高，实际应用中，镜头的分辨率要高于相机的分辨率

• 放大倍率光学畸变，由于镜头在不同视场放大倍率不一样，使得图像对于物体失去了相似性，这种形变缺陷成为光学畸变，畸变并不影响其分辨率

• 常见的畸变有：

• 接口最常用的是C接口，其使用广泛，具有质量轻、体积小、价格低、品种多等优点

• 其他接口有：

4.7 镜头分类

• 
• 
• 
• 
  在工业中最常用的是
  定焦镜头顾名思义就是焦距固定的镜头，其在机器视觉的应用非常广泛
  远心镜头主要是为了纠正传统镜头的视差，而特殊设计的镜头。它在一定工作距离内拍摄的图像放大倍率不随工作距离变化而变化
  远心镜头也分：物方远心、像方远心，双侧远心，对于精密测量的应用，使用远心镜头，可以确保被测物在一定范围内不受放大倍率影响

4.8 镜头如何选型

• 1.确定接口
• 确定是面阵还是先扫应用
• 确定视野
• 是否需要远心镜头
• 如需要则通过相机芯片与视野的大小确定其放大倍率与分辨率等参数
• 如不需要远心镜头，那就确定同一工作距离下是否要改变放大倍率，要改变就要用变倍镜头，不改变就用定焦镜头
• 在确定用定焦镜头之后根据视野、芯片尺寸、工作距离、焦距、分辨率等参数选定镜头

5 工业相机

5.1 模拟相机与数字相机

相机是通过CCD或CMOS成像传感器，将接收到的光学信号转化为模拟信号或数字信号，并将这些信息由相机与计算机的接口传输到计算机主机。所以相机可以分为模拟相机和数字相机。

1. 模拟相机：输出的是模拟信号，它需要借助图像采集卡把信号转化成数字信号，是机器视觉早期的主流，模拟相机一般帧率较低（典型为30帧），分辨率较低（常见30万像素），而且容易受到电磁信号干扰，加个较低，多在安防行业会用，其使用具有一定局限性
2. 数字相机：内部有一个A/D转化器，数据会以数字的形式传输。它具有：抗干扰能力强、图像质量好，分辨率高（从30万到1.2亿万像素）帧率高，接口丰富等特点

5.2 CCD与CMOS

1. CCD：电荷耦合器件是一种半导体成像器件。原理是通过感应线光，把光信号转化成电信号，所有电荷都经过一个放大器进行电压转变形成。具有灵敏度高、抗强光、体积小、寿命长、抗震动等优点，缺点是成本高，功耗高。
2. CMOS，互补金属氧化物半导体，也是通过把光信号转化成电信号的方式输出图像信号。制造成本低，功耗低，但色彩还原能力偏弱
   两者区别：
3. CCD是全局曝光，CMOS是卷帘式曝光
4. CCD色彩还原度高，图像锐利度、清晰度好，CMOS色彩还原度差
5. CCD制造成本、功耗比CMOS高

5.3 面阵与线阵

1. 面阵相机，感光芯片为面阵，被测物体可以静止也可以运动，相机每次曝光就能够拍摄一张照片。其中，运动拍照时，只要曝光时间（即拍摄一张照片的时间）足够短，若其能够小于被测物运动一个精度的时间，就能保证图像的精度。
2. 线阵相机，感光芯片为线型，被测物体和相机间要有相对运动状态才能成像，有非常高的行频和横向分辨率，价格较高由于数据量大
   其传输接口一般为

5.4 相机的主要参数

1. 感光芯片尺寸：行内也叫靶面尺寸，它是以芯片对角线的长度来度量工业面阵相机常用的尺寸如图，1寸=16mm，线阵相机会以感光芯片的横向长度来度量

2. 像素：是图像的最小组成单元。每一个小格表示一个像素，每个像素对应一个灰度值

3. 像元与像元尺寸：像元是感光芯片上接受光信号的装置，每个图上的一个像素都对应像元，像元的物理尺寸就是像元尺寸
   常见有2.2、3.45、3.75、4.8、5.5、5.86、7.4um在同一时间单位的光照射到感光芯片上，像元尺寸越大，其能接受的光子数量越多，图像呈现的亮度越高

4. 像元深度：是指存储每个像素所用的数据位数，对于黑白相机，像元深度定义了灰度值从全黑到过曝的灰阶数机器视觉最常用的是像元深度8位的相机，输出的图像等级是2的八次方。即0-255，共256级，也有像元深度10位的相机，共1024级

5. 分辨率：感光芯片上有多小格像元，就是多小分辨率的相机，常用的是30、130、200、500、1000、2900、7100万、1.2亿像素等，像素越多，分辨率越高，其展示的细节就越细

6. 精度，用来描述图像上每个像素的实际物理尺寸

7. 帧率、行频：面阵相机的帧率是指一秒钟能拍多少张图像线阵相机的行频是指一秒钟内相机扫描多少行

8. 增益：是指输入信号和输出信号的放大比例，通常用来提升整体亮度。单位dB

9. 噪点：是指感光芯片把光信号变成电信号并输出的过程中产生的不属于物体的部分影像。信噪比是指真实图像信号与图像噪声的比例

10. 光谱响应：感光芯片对光不同波长的响应能力不一样，一般会用响应曲线表示相机按感应光谱区分为：普通可见光相机，红外相机，紫外相机

11. 触发：相机都会具有触发功能，接收一次触发信号就会采集一次图像；还可以设置延时，收到触发信号过了设置好的时间再拍照相机还有触发输出功能，在相机拍照的时候也可以同时发送一个信号到其他的器件，让其共同工作

12. 曝光时间：感光芯片接收光照射过来的时间，曝光时间越长图像越亮，但如果运动拍照的话，曝光时间长可能会产生拖影。曝光方式分逐行曝光和帧曝光。譬如：在被测物与相机相对运动时，线阵相机采用的就是逐行曝光，一次采集一行图像；面阵相机采用的就是帧曝光，一次采集一张图像

5.5 相机的标准

相机通用协议（GenICam）其目的是全行业实现相同应用编程接口它由多种模块构成：

1. 通用传输层（GenTL）：将传输层编程接口标准化
2. 通用应用编程接口（GenApi）：用于设计相机的应用程序开发接口
3. 标准特点命名规范（SFNC）：将相机子描述文件中的相机特点的名称、类型、意义和使用标准化
4. 传输接口：目前数字相机行业常用的接口有：GigE是应用最广泛的相机标准接口，基于以太网通信标准制定。可以简单理解成千兆网线USB3，接口简单，即插即用，便于安装，高性能IEEE1394接口，俗称火线，苹果公司在1987年发行的串行标准，传输速度高且稳定Camera Link是一款强大、完善的通信接口方式，把相机和图像采集卡之间的连接标准化，包括提供数据传输、相机定时、串口通信和实时向相机发送信号同轴线缆（CoaXPress）其在1千米的电缆长度内可提供的传输速度可达惊人的1Gbit/s，它已经能够满足目前市面上最快的相机