机器视觉与图像处理知识点总结_机器视觉知识点总结

作者：知新_RL | 2024-03-05 12:48:44

踩

机器视觉知识点总结

图像灰度均值是对平均灰度的一种度量，反映了图像的亮度，均值越大说明图像亮度越大，反之越小。图像灰度方差反映了图像像素值与均值的离散程度，标准差越大说明图像的质量越好。方差是对平均对比度的度量，每个像素点颜色相差越大，方差越大，观感上整幅图的对比度越大。如果图片看起来灰蒙蒙的，那方差就小；如果看起来很鲜艳，对比度很大，那方差就大。把电视机的亮度调高了，那均值就变大，但方差没变；把对比度调高了，那均值没变，但方差变大。
采样间隔值越小，空间分辨率（图像中可分辨的最小细节）越高，图像质量越好，图像数据量越大。（图像质量指人们对一幅图像视觉感受的主观评价）
检测图像边缘的数学方法：图像梯度、差分和卷积。有限差分滤波器、高斯滤波器、Canny边缘检测器。
高通、低通滤波器：频率低的地方是较平滑的，因为平滑的地方灰度值变化比较小；频率高处通常是边缘或者噪声，因为这些地方往往是灰度值突变的。
（1）高通（锐化）滤波器保留远离频谱图中心的高频部分，舍弃掉靠近频谱图中心的低频部分。通常会保留图像的边界，即突出边缘。
（2）低通（平滑）滤波器保留靠近频谱图中心的低频部分，去除掉远离频谱图中心的高频部分。用于模糊处理、平滑图像、弱化边缘、减少噪声，降低了图像的“尖锐”变化，但是这会影响图像的清晰度，即图像边缘模糊化。
灰度变换函数：反转变换、对数变换、幂次变换、分段线性变换函数。
图像量化：数字化坐标值称为取样，数字化幅度值称为量化。分为：均匀采样和量化、非均匀采样和量化。灰度级（强度）量化，黑白、灰度、彩色图像的数字化。量化越细致，灰度级数（浓淡层次）表现越丰富。
梯度下降法：梯度下降法的计算过程就是沿梯度下降的方向求解极小值，它易陷入局部最优，不能保证全局最优解，主要是由目标函数的非凸性造成的。
SLAM：同步定位与建图（Simultaneous localization and mapping）。主要用于解决机器人在未知环境运动时的定位与地图构建问题。根据传感器不同分为：视觉SLAM、激光SLAM。
ORB特征：ORB算法分为特征点提取和特征点描述两部分。提取是由FAST算法发展来的，描述是根据BRIEF特征描述算法改进的。ORB特征包括特征点和描述子。特征点用于筛选比较“特殊”的点，而描述子用来描述某个点周围的特征。关键点：Oriented FAST；描述：BRIEF。ORB：旋转之后的BRIEF描述；BRIEF是一种二进制描述，需要用汉明距离度量。FAST：连续N个点的灰度有明显差异。Oriented FAST：在FAST基础上计算旋转。
外参：相机外参：相对于世界坐标系的旋转和平移，3×3旋转矩阵，3×1平移向量。相机内参：主点坐标、焦距、像素放大系数、倾斜（非矩形像素）、径向畸变。（相机矩阵、本质矩阵、基础矩阵）
VO算法通常可分为两类：视觉里程计Visual Odometry是SLAM的前端。特征点法、直接法和光流。（基于特征点、基于光度）
SLAM后端优化：以扩展卡尔曼滤波（EKF）为代表的滤波方法，以光束平差法BA和图优化为代表的非线性优化方法。
相机畸变：包括径向畸变和切向畸变，薄棱镜畸变。所谓畸变，就是指在世界坐标系中的直线转化到其他坐标系不在是直线。
神经网络前向传播、反向传播：利用误差反向传播算法进行反向计算的过程叫反向传播；前向传播比较简单，就是向量点乘（加权求和），然后经过一个激活函数，即由输入层逐渐向后计算，计算到输出层的方式，称为前向传播。
池化、汇聚：重叠池化（Overlapping Pooling）、最大池化（Max）、平均池化（Avy）、一般池化（General）、空金字塔池化（Spatial Pyramid）。池化：使图像变小，卷积核大小要能被图像size整除，每次移动步长为卷积核大小。
正则化：通过限制网络参数的稀疏性，可以来约束网络的实际容量。这种约束一般通过在损失函数上添加额外的参数稀疏性惩罚项实现。
Dropout：是防止过拟合的一种方法。假设网络间连接越少越好，在前向传播的时候，让某个神经元的激活值以一定的概率p停止工作，这样可以使模型泛化性更强，因为它不会太依赖某些局部的特征。训练时，减少每次实际参与计算的模型的参数量；测试时，Dropout会恢复所有的连接，保证模型测试时获得最好的性能。Dropout步骤：
（1）随机断掉网络部分隐藏神经元。
（2）修改后的网络前向传播，损失结果通过修改的网络反向传播(w,b)。
（3）恢复被删掉的神经元，重复这一过程。
图像锐化与图像平滑：（区别、关系）
（1）锐化就是通过增强高频分量来减少图象中的模糊，因此又称为高通滤波。锐化处理在增强图象边缘的同时增加了图象的噪声。常用的锐化处理方法：拉普拉斯模板。
（2）平滑与锐化相反，能减弱或消除图像中的高频率分量而不影响低频分量，会减少图象噪声，使图片变得有些模糊。常用的平滑处理方法：Box模板去噪平滑处理，也就是均一化处理，高斯模板去噪平滑处理，中值滤波去噪平滑处理。
电磁波谱成像：电磁波谱可以用波长、频率或能量来描述。光是可以被人眼感知的电磁波。电磁波是能量的一种，任何有能量的物体，都会释放电磁波。
（1）伽马射线成像：主要用于核医学和天文观测。在核医学中，这种方法将放射性同位素注射到人体内，当这种物质衰变时，就会放射出伽马射线，然后用伽马射线检测仪收集到的放射线来产生图像。
（2）X射线成像：主要用于医学诊断、天文学、工业和其他领域。
（3）紫外波段成像：主要用于平板印刷术、工业检测、显微镜方法、激光、生物成像和天文观测等方面。
（4）可见光及红外波段成像：红外波段常与可见光相结合成像。主要用于光显微镜方法、遥感、天文学、工业和法律实施等方面。
（5）微波波段成像：主要用于雷达。成像雷达的工作原理就像一台闪光照相机，它自己提供照明（微波脉冲）去照亮地面上的一个区域，并得到一幅快照图像。与照相机镜头不同，雷达使用天线和数字计算机记录图像。在雷达图像中，能看到的只是反射到雷达天线的微波能量。
（6）无线电波段成像：主要用于医学和天文学。在医学中，无线电波用于核磁共振成像（MRI）。
统计排序滤波器：一种非线性滤波器，它的响应基于图像滤波器包围的图像区域中像素的排序，然后由统计排序结果决定的值代替中心像素的值。
（1）中值滤波器：算法：先将掩模内欲求的像素及其领域的像素值排序（升序或降序），确定出中值，并将中值赋予该像素点。原理：用模板区域内像素的中值作为结果值，强迫突出的亮点（暗点）更像他周围的值，以消除孤立的亮点（暗点）。主要功能：使拥有不同灰度的点看起来更接近于它的邻近值。特点：在去除噪音的同时，可以比较好的保留边的锐度和图像细节。主要用途：去除“椒盐”噪声。
（2）此外还有：最大值、最小值、中点滤波器，修正阿尔法均值滤波器。
立体视觉三角化：
迭代最近点ICP：该算法一般多用于三维空间内点云配准，不仅适用于平面场景，还适用于曲线和曲面等场景。当点云配准的结果未满足理想精度的要求，通过 ICP 算法，在不断地迭代中降低误差，从而实现理想的精度值。初始的粗略匹配为之后的精准匹配提供了较好的初始位置，而 ICP 算法的作用是把误差进一步的缩小，以无限接近理想精度值。ICP 算法的核心在于不断地迭代，通过点与点之间的配准来进行旋转和平移，它的衡量标准基于最小二乘法，且点与点的距离要满足在一定的阈值范围内。总结：
（1）ICP算法对初始值的依赖比较大，具体的配准过程中，如何选择初始值是一个问题，可以使用轮式里程计、imu预积分或其它先验的配准结果。
（2）ICP迭代次数过多，实际工程中需要考虑到其实时性的优化问题。
（3）迭代终止的阀值设置也是需要考虑的点，可考虑自适应阀值的方法。
（4）关于寻找最近点可以使用kdtree进行临近搜索。
立体视觉中大基线和小基线：小基线: 深度误差大。大基线: 搜索难题。
基线本意是指立体视觉系统中两摄像机光心之间的距离。依据拍摄两幅图像的视点位置关系可将对应点匹配问题分为宽基线（Wide Baseline）和窄基线（Short Baseline）。宽基线一词用于匹配时，泛指两幅图像有明显不同的情况下的匹配。产生这种情况的原因有可能为摄像机之间的位置相差很大，也有可能由于摄像机旋转或焦距的变化等因素产生的。宽基线匹配和窄基线匹配的分界不是很严格，但是在窄基线匹配中存在如下假设：摄像机焦距及其它内参数变化不大，摄像机位置不会相差很远，不会有大的转动，对应点的邻域是相似的。
窄基线匹配中典型方法是利用邻域的互相关（Neighborhood Cross-Correlation）方法。宽基线的情况下，图像之间拍摄距离较远，成像条件存在较大差异，即使是空间同一特征，在图像中所表示出来的光学特性（灰度值，颜色值等）、几何特性（外形，大小等）及空间位置（图像中的位置，方向等）都有很大的不同，再加上噪声、遮挡等因素的存在，此时基于邻域互相关的匹配方法就失效了。在宽基线匹配中，仅仅使用特征本身的信息(比如边缘、角点的位置信息)是难以正确匹配的，研究学者将多个特征尤其是结构性特征予以组合，以形成稳定的特征向量（称为特征描述符）。这种对于图像的几何变形、光照变化等因素保持一定稳定性的特征向量称为不变量。不变量技术是宽基线匹配应用中的重要技术。
SLAM方程：
神经网络过拟合或欠拟合：
（1）欠拟合：当模型的容量过小时，模型不能够很好的学习到训练集数据的模态，导致训练集上表现不佳，同时在未见的样本上表现也不佳。具体表现：学习到的模型在训练集上的误差（如均方差）较大，同时在测试集上面的误差也较大。解决办法：增加神经网络的层数、增大中间维度。
（2）过拟合：当模型的容量过大时，网络模型除了学习到训练集数据的模态之外，还把额外的观测误差也学习进来，导致学习的模型在训练集上面表现较好，但是在未见的样本上表现不佳，也就是泛化能力偏弱。防止过拟合方法：正则化、添加动量、学习率衰减、早停、DropOut、数据增强；划分验证集集、交叉验证、K-Flod、留一验证。
（3）通过验证集可以判断网络模型是否过拟合或者欠拟合。发现过拟合，通过减少网络的层数，减少每层中网络参数量的规模可以有效降低网络的容量。如果发现模型欠拟合，需要增大网络的容量，可以通过增加层数，增大每层的参数量等方式实现。
激活函数：帮助网络去理解、学习复杂的非线性函数输入会产生怎样的响应。

（1）优点：sigmoid函数把
声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/知新_RL/article/detail/191174