神经网络： 神经网络通常包括输入层、隐藏层和输出层。信息通过输入层进入网络，经过隐藏层的处理，最后由输出层输出。在训练过程中，网络通过反向传播算法调整连接权值，使得网络的输出与期望输出之间的误差逐渐减小。神经网络的自适应学习能力强，能够通过训练学习数据的内在规律和表示层次，对未知数据具有很好的泛化能力。

决策树：决策树的构建基于将实例集划分为尽可能相似的子集的思想，通过递归地选择最优属性并对该属性应用“分割测试”来实现。决策树的结构清晰，每一个决策节点都具有明确的逻辑，这使得模型的决策过程易于理解和解释。

7.构建一个机器视觉系统时，通常需要获取哪些系统需求？

照明系统、成像系统、图像数字化、图像处理软件系统、计算机系统。

对于一些复杂的机器视觉系统，还会用到：机械设计、传感器、电子线路、PLC、运动控制等。

8.怎样才算一幅好的图像？

（1）充分利用现场，最大限度的利用分辨率。

（2）对比度合适

（3）焦距准确

（4）照明均匀，避免反光

（5）图像畸变小

（6）感兴趣的特征容易被识别，其他特征不显示或得到抑制。

9.一个机器视觉系统的机械部分，通常应具备哪些功能？

10.构建一个机器视觉系统时，你有哪些好的建议？

（1）尽可能使用能够采购的零件，能买到的东西就不要自己做。

（2）采用“分而治之”的策略做系统

（3）充分考虑现场条件，现场和实验室有很大差别

（4）积极应对困难。可能会有很多困难未预料到，或估计的难度偏低。

第二讲--图像处理概述

名词解释

1.几何变换

又称图像空间变换，它将一幅图像中的坐标位置映射到另一幅图像中的新坐标位置。几何变换不改变像素的灰度值，仅对像素的位置进行重新安排。

常见的几何变换包括：放大、缩小、平移、旋转、仿射变换等。

2.图像分割

把图像分成各具特色的区域并提取感兴趣目标的技术和过程。

而区域是指相互连结的具有相似特性的一组像素。

3.图像边缘

边缘是灰度不连续的结果，是图像局部强度变化最显著的部分，常可利用求导数检测到。

简答

1.图形预处理的主要目的？

消除图像中无用的信息，恢复有用的真实信息，增强有关信息的可检测性，最大限度地简化数据，从而改进特征抽取、图像分割、匹配和识别的可靠性。

2.图形预处理一般都包含哪些主要内容？

数字化、几何变换、归一化、平滑、增强、复原等内容。

3.图形处理的主要目的？

对图像进行相关的一些运算，以便简化后续的图像分析（图像描述、图像识别）工作。

4.图形处理一般包含哪些主要内容？

图像增强、图像复原、图像编码、图像分割、图像重建等内容

5.为何要进行图像的数字化？

便于在计算机中保存图像、便于计算对图像进行处理。

6.简要说明典型的空域滤波器有哪些？

①线性平滑滤波器：

>邻域平均滤波器 :每一个像素值用其局部邻域内所有值的均值置换

>邻域加权平均滤波器（高斯滤波器是典型）: 每一个像素值用其局部邻域内所有值的加权均值置换

②非线性平滑滤波器：

>中值滤波 :用其局部邻域内所有值排序后的中间值置换

>边缘保持滤波 :先计算子邻域的均匀度值，然后取均匀度值最小的子邻域的均值代替当前点的灰度值。

7.简要说明频域增强的一般步骤？

(1)将图像从图像空间转换到频域空间（傅立叶变换）

(2)在频域空间对图像进行增强；

(3)将增强后的图像再从频域空间转换到图像空间（傅立叶逆变换）

8.简要介绍常用的频域增强方法？

低通滤波、高通滤波、带通滤波、带阻滤波.

9.导致图像质量下降有哪些常见因素？

噪声：内部噪声、外部噪声；高斯噪声、椒盐噪声

运动：图像拖影问题。

10.图像分割中的两个最基本原则？

数值相似性：如灰度差、区域灰度分布

空间接近性：如欧氏距离、区域致密度

11.简单说明边缘检测的基本原理

边缘检测是基于边界的图像分割方法的第一步，两个具有不同灰度值的相邻区域之间总存在边缘

边缘是灰度不连续的结果，是图像局部强度变化最显著的部分。这种不连续常可利用求导数方便地检测到，常用一阶或二阶导数来检测边缘

>常见的边缘有3种剖面：

12.简要介绍常用的阈值选取方法

(1)依赖像素的阈值选取

最简单的阈值选取方法是根据直方图进行的。比较典型的方法有两种：

①极小值点阈值 :将灰度直方图曲线的极小值作为阈值。

②最优阈值 :减少误分割的概率，选取最优阈值。

(2)依赖坐标的阈值选取

当图像中有不同的阴影或各处的对比度不同时，如果只用一个固定的全局阈值对图像进行分割就会影响分割的效果。

解决方法是用与坐标相关的一系列阈值代替固定的全局阈值，也称为动态阈值。

13.给出图像分割的形式化定义，并进行简要解释。

有序集合 $R$ 表示图像区域（像素点集），对 $R$ 分割为有序非空子集 $R_1 R_2$ ... $R_n$

①：对 $R$ 分割为有序非空子集 $R_1 R_2$ ... $R_n$

②：任意两个子集互不重叠

③：每个子集内部具有某种属性或特征的均一性

④：相邻子集之间在某种属性或特征上存在差异

14.简要描述常见的两种图像分割技术。

(1)基于边界的分割技术 :一阶微分算子，二阶微分算子

主要依赖于边缘检测来识别图像中不同区域之间的边界，并将边界作为分割的依据。利用边缘检测算子提取出待分割场景的边界，然后对分割边界内的像素进行连通和标注，构成分割区域。

常见的一阶微分算子：Roberts算子，Prewitt算子，Sobel算子

常见的二阶微分算子：Laplacian算子

(2)基于区域的分割技术 :并行区域技术，串行区域技术。

通过将图像中的像素分配到不同的区域来实现图像分割。基于区域的图像分割更注重像素之间的相似性和连续性，能够更好地捕捉到图像中不同对象的区域特征。

第三讲没划重点习题

第四讲--特征提取与选择

名词解释

1.图像目标的特征

图像目标的特征是对图像目标特性的抽象，是用于区别不同种类的目标的概念描述。

2.纹理

纹理是图像中反复出现的局部模式和它们的排列规则，反映了图像中像素亮度变化的一种趋势

3.特征选择

从一组原始特征中挑选出最有效的特征子集，以达到降低特征空间维数、简化分类器设计、提高分类速度的目的。

简答

1.简要介绍图像目标特征有哪些类型。

视觉特征统计特征代数特征变换系数特征其他物理特征

视觉特征：指人类视觉对目标的感觉特征，其主要包括：颜色边缘轮廓纹理形状，等

统计特征：指对图像中的相关像素进行统计所获得的具有统计意义的数据，包括：颜色直方图、灰度直方图、均值、方差、协方差、矩特征。

代数特征：指图像内容的代数关系，也就是将图像视为一个二维矩阵，通过矩阵分析，得到图像的代数特征，包括：图像的奇异值分解主成分分析独立成分分析

变换系数特征：将图像进行空域到频域转换后的频域系数，以及对它的处理结果，比如：傅里叶变换系数，小波变换系数。

其他物理特征：如目标运动的速度加速度运动方向旋转的角速度 …… 这些特征一般体现在运动目标上（视频数据）

2.简要介绍图像的视觉特征有哪些？

颜色边缘轮廓纹理形状等

3.人对物体的色彩感觉与哪些因素有关？

物体本来的颜色特性、时间、空间、外表状态以及该物体周围环境，同时还受人的主观因素的影响。

4.简要介绍目前常用的颜色模型(至少3种)

RGB：一种相加模型，主要用于显示设备

CMY: 青、品红、黄三种颜色的缩写。CMY是一种相减模型，主要用于印刷行业。即：混合的油墨能反射和吸收什么光。

HSV模型：色调（Hue，H）、饱和度（Saturation，S）、明度（Value，V）。HSV模型也称为六角锥体模型，直观地表示了“什么颜色？深浅如何？明暗如何？”等问题。

HSI模型： 色调（Hue，H）、饱和度（Saturation，S）、强度（Intensity，I）。HSI模型反映了人的视觉系统感知彩色的方式

5.用于描述目标的形状特征有哪些？(至少3种)

形状因子外观比扩展比例充实度偏心率球状性欧拉数

6.简要介绍纹理的视觉特征有哪些。

纹理的尺度性、粗糙度、规则性、区域性。

7.简要介绍纹理特征计算的2种常用方法。

基于灰度直方图的纹理特征：包括平均亮度、平均对比度、平滑度、三阶矩、一致性、熵等。

基于灰度共生矩阵的纹理特征：包括能量、对比度、均匀性、相关性、熵等。

8.遗传算法一般可以通过设置什么条件来使算法停止进化。

可设置两个终止条件：(MaxGen和Gen为经验常数。)

（1）已达到指定的最大进化代数MaxGen

（2）最优特征子集连续Gen代都没有发生变化。

综合题

请给出一种用于选择最优特征子集的特征选择方案，并给出实施步骤。

问题描述：手工设计的特征，包括颜色、形状、纹理。

目标： 选出最优特征子集。

方法： 改进的遗传算法。

流程：

种群初始化：
种群中的个体相当于解空间中候选解。

初始种群通过随机方式产生，其规模可根据实际情况进行设置，一般取20～100。

要求初始种群具有单一性，即初始种群中没有完全相同的个体。

每个个体应该满足染色体分段管理的约束条件，即三个染色体分段上的基因都不全为零，以便保证选择出的特征子集同时涵盖棉花异性纤维目标的颜色、形状和纹理三种特征。

个体适应度的计算：

个体适应度是衡量个体优劣的唯一指标。

个体适应度应是分类正确率和特征子集大小的函数，且分类正确率越高、特征子集越小则适应度越高；反之，分类正确率越低、特征子集越大则适应度越低。

遗传操作的终止条件：

设置两个终止条件：(MaxGen和Gen为经验常数。)

（1）已达到指定的最大进化代数MaxGen

（2）最优特征子集连续Gen代都没有发生变化。

第五讲--不变特征

名词解释

1.全局不变特征

将整幅图像看成一个整体，无差别地对待整幅图像中的每个像素数据，不管这个数据是表示目标的还是背景的。

2.局部不变特征

局部特征是由一些亮度变化很大的像素点组成的局部结构，这些局部结构包含有丰富的图像信息，具有较强的代表性。

简答

1.为什么要研究不变特征？

在图像获取过程中，总是存在尺度缩放、旋转、平移、噪声干扰、观察视点变化及光照变化等因素，这些因素影响了系统的鲁棒性。因而，在进行目标识别或跟踪时，必须从图像中提取对上述变化具有一定不变性的特征，再进行特征匹配。

2.简要介绍影响目标识别的因素有哪些。

尺度缩放、旋转、平移、噪声干扰、观察视点变化及光照变化等因素

3.按几何不变性的自由度可以将不变特征分为哪些？

平移不变特征、旋转不变特征、仿射不变特征、尺度不变特征和投影不变特征

4.给出随机变量X，Y的k+m阶原点矩和中心距的定义。

第六讲--物体分类与检测

简答

1.举例说明物体分类与检测的主要应用领域。

安防领域：人脸识别、行人检测、智能视频分析、行人跟踪等

交通领域：交通场景物体识别（汽车避障等）、车辆计数、逆行检测、车牌检测与识别

互联网领域：基于内容的图像检索、相册自动归类

2.简要介绍物体分类与检测面临的困难与挑战。

①实例层次：针对单个物体实例而言，通常由于图像采集过程中光照条件、拍摄视角、距离的不同、物体自身的非刚体形变以及其他物体的部分遮挡，使得物体实例的表观特征产生很大的变化。

②类别层次：

(1.)类内差大，即属于同一类的物体表观特征差别比较大，例如同样是椅子，外观却是千差万别。(2.)类间模糊性，不同类的物体实例具有一定的相似性，如狼和哈士奇，从外观上很难分开二者。(3.)背景干扰，在实际场景下，背景可能是非常复杂的、对我们感兴趣的物体存在干扰的，这使得识别问题的难度大大增加。

③语义层次：困难和挑战与图像的视觉语义相关，一个典型的问题称为多重稳定性。

3.简要介绍图像数据库(数据集)的发展历程。

简单到复杂，特殊到一般，小规模到大规

开始重点研究的是特定问题中的图像分类

然后重点研究的是一般目标的分类与检测

现在重点研究的是更大规模的分类与检测

4.简要介绍基于词包(BoW)模型的物体分类框架。

（1）底层特征提取。有两种方式：基于兴趣点检测、密集提取方式。最好的物体分类算法基本都采用了多种特征，经常使用密集提取与兴趣点检测相结合

（2）特征编码。密集提取的底层特征中包含了大量的冗余与噪声。为提高特征表达的鲁棒性，需要使用特征变换算法对底层特征进行编码，从而获得更具区分性、更加鲁棒的特征表达。

（3）特征汇聚、视觉直方图生成。一般可通过聚类实现，或使用空间特征汇聚

（4）使用支持向量机等分类器进行分类。常用的分类器有支持向量机、K近邻、神经网络、随机森林等．

5.简要介绍深度信念网络的训练过程。

深度信念网络(DBN)的基本单元是RBM（受限波尔兹曼机）

首先先以原始输入为可视层，训练一个单层的RBM；然后固定第一层RBM权重，以RBM隐藏层单元的响应作为新的可视层，训练下一层的RBM，以此类推。

6.简要介绍目标检测中的两个关键任务。

目标定位：负责确定输入图像中是否存在指定类别的物体；如果存在，给出物体所处的位置和范围，通常使用方形包围盒Bounding Box表示。

目标分类：负责判断所选图像区域中是否有感兴趣类别的物体出现，输出的带分数的标签表明感兴趣类别的物体出现在所选择区域中的可能性。

7.简要介绍传统的目标检测算法的主要组成部分。

检测窗口的选择： Sliding Window滑动窗口法（暴力搜索）， Selective Search区域提取法

目标特征的设计：SIFT、HOG、LBP……

分类器的设计： SVM、决策树、 AdaBoost（SVM）……

8.简要介绍基于深度学习的目标检测算法的大致组成部分。

特征学习部分： 通过若干个卷积、池化、激活层的堆叠实现，也会通过嵌入注意力模块等手段，提高学习效果

分类部分： 通过SoftMax分类器实现目标分类

后处理部分（可选）： 非极大值抑制

综合题

注：所有综合题都要注意方法或方案的有效性以及步骤的完整性。

1.请给出一种苹果分级系统的设计方案，并给出实施步骤。

2.请给出一种桔子分级系统的设计方案，并给出实施步骤。

（一）硬件部分

①照明子系统：
必须确保xx水果图像采集过程中光照的均匀性和稳定性。配备人工光源，如LED灯阵，克服自然光条件不足或不稳定的情况，确保图像采集的准确性和一致性。

②图像采集子系统：
推荐使用高分辨率的单目摄像头。单目摄像头能够捕捉到足够的细节，同时降低系统复杂性和成本；在需要更精确的三维信息时，也可考虑使用双目摄像头或其他立体视觉系统。

（二）软件部分

①图像质量评估与增强：
若图像质量良好，无需进行额外的图像增强处理；若图像质量受到光照不足、噪声干扰等因素的影响，就要进行图像增强，如直方图均衡化、滤波去噪。

②图像分割：
采用基于阈值的分割方法，根据xx水果与背景之间的颜色或亮度差异设定阈值，将xx水果从背景中分离出来；也可利用边缘检测算法（如Prewitt/Sobel/Canny边缘检测）来识别xx水果的轮廓，实现更精确的分割。

③特征提取：
根据分级标准选择适当的特征。对于xx水果分级，常见的特征包括颜色、尺寸、形状和表面缺陷等。这些特征可通过图像处理算法从分割后的图像中提取出来。由于我们关注的是这些核心特征，因此无需进行复杂的特征选择过程。

④分类器选择：
选择卷积神经网络/SVM/支持向量机分类算法，卷积神经网络/SVM/支持向量机算法能够保证分类精度。当然，具体的分类器选择需要根据实际应用场景和数据进行评估和验证。

3.在建筑工地，为保护工人的安全，要求所有工人必须佩戴安全头盔，但仍存在个别不佩戴头盔的人。请给出一个利用机器视觉进行“未佩戴头盔”检测系统设计方案。

4.为保护电动车驾驶员的安全，要求必须佩戴安全头盔，但仍存在个别不佩戴头盔的人。请给出一个利用机器视觉进行“未佩戴头盔”检测系统设计方案。

（一）硬件部分

①图像采集子系统：

        在关键区域（工地的入口、作业区 / 道路交叉口等）安装高清摄像头，确保能够捕捉到工人/驾驶员的图像。

        推荐使用单目摄像头，它能够捕捉到足够的细节，同时降低系统复杂性和成本；在需要更精确的三维信息时，也可使用双目摄像头或其他立体视觉系统。

②显示器：

        用于实时显示摄像头捕获的图像和检测结果。同时可通过显示器进行远程监控和操作。

（二）软件部分

①图像质量评估与增强：
若图像质量良好，无需进行额外的图像增强处理；若图像质量受到光照不足、噪声干扰等因素的影响，就要进行图像增强，如直方图均衡化、滤波去噪。

②人员与头盔检测：

        目标检测的关键任务是目标定位和目标分类。

        利用目标检测算法（如YOLO、SSD ），对图像中的工人进行定位，并提取出工人的图像区域；开发头盔检测算法，对提取出的工人/驾驶员图像区域进行分析，判断工人/驾驶员是否佩戴头盔。

③分类器选择：

        可基于深度学习模型（如卷积神经网络CNN），通过训练模型学习头盔的特征，实现准确的头盔检测。

5.其他类似题目如红掌花卉的分级(利用红掌红色部分的面积占比、植株高度等特征进行分级)、玫瑰花鲜切花的分级，等。

这里给出一些植物分级的其他可选择的特征，防止考试的时候想不出来：

叶片特征：叶片形状、颜色。

茎部特征：茎部弯曲程度、粗细。

果实：果实颜色、表面纹理、果实大小。

花朵：花瓣颜色、形状、数量等。

等等等....

第七讲--视觉注意机制

简答

1.简要说明自上而下与自下而上的视觉注意过程有何不同。

自下而上：无上层任务的指导。只受输入图像底层特征影响，独立于任务，客观性较强。场景中那些与众不同的具有较强的新颖刺激的视觉对象能够迅速引起观察者的注意

自上而下：有上层任务的指示。过程依赖于特定的任务，主观性较强。场景中人们所期待的视觉对象能够获得人们的注意（重点）

2.简要介绍Itti的基于显著性的视觉注意模型。

核心思想：图像的空间多尺度表示。

此模型一般用于场景分析。

优点：针对复杂场景，适应性强

缺点：分割精度差，算法较复杂、速度慢

3.简要介绍侯晓迪的基于谱残差的视觉注意模型。

从关注前景转到关注背景上来（剔除背景）。很多情况下，背景一般具有相似的特征，因此去掉背景信息，剩下的就是前景信息了。

（下面这一段老师给的复习资料里没有，我用chat生成的，酌情背）

优点：运算速度快，结果不依赖于参数的选择；原理简单；有较强的可移植性。

缺点：抗噪能力较弱。

综合题-补充

由于光照不均匀，导致图像不同区域的亮度不一致。请设计一种较为合理的图像分割算法以便得到尽可能精确的分割结果。

①图像预处理：对原始图像进行预处理，如滤波去噪、色彩空间转换（如从RGB转换到灰度）等，以便简化后续处理步骤、提高分割的准确性。

②图像分块：将预处理后的图像分割成多个子块，这样子块内的光照就会相对均匀。

③计算局部阈值：对于每个子块，计算自适应的局部阈值。阈值基于子块内的像素强度统计信息（如均值、中位数等）来计算。自适应局部阈值方法能够考虑到不同子块之间的光照差异，从而得到更准确的分割结果。

④图像分割：使用计算得到的局部阈值对每个子块进行分割。如果子块内某像素的强度高于局部阈值，则将其标记为目标区域，否则标记为背景区域。

⑤后处理：为减少由于分割产生的噪声和伪影，使用如腐蚀、膨胀、边缘平滑、等步骤进行处理。后处理步骤有助于提高分割结果的连续性和准确性。

声明：本文内容由网友自发贡献，转载请注明出处：【wpsshop博客】