模拟图像用连续函数来表示，数字图像用矩阵和像素（图像在哪个点的值）表示主要就是有空间位置和灰度，它的空间位置和亮度都是整数值，图像处理包括图像数字化，图像数字化就是模拟图像变为数字图像，图像变换有利于特征提取，加强对图像信息的理解主要是使用算法，图像增强就是增强有用信息，消除噪声干扰；图像编码就压缩数据方便传输比如21K压缩为2K

2.数字图像获取

采集---处理（存储）--显示

2.1图像的数字化

图像的数字化就是将一幅画面装换成计算机能处理的形式，就像分成一个个的网格（像素或像元），并将各个小区域灰度用整数来表示，形成一幅点阵式的数字图像，像素的属性=（位置，灰度/颜色），均匀量化指的是采样量化为等间隔方式，图像的数字化一般采用均匀采样和均匀量化的方式，非均匀采样根据图像细节的丰富程度改变采样间距，细节丰富的地方采样距离小，量化的时候量化等级越多，所得图像层次越丰富，灰度分辨率越好。2^8=8bit,采样的时候还有一个采样孔径，用正方形、圆形等

2.2图像灰度直方图

图像灰度直方图就是这个灰度值出现的次数和灰度的关系，横坐标为灰度纵坐标为出现频率，反映图像灰度的一个分布状况，应用可以看灰度直方图看出二值化图像的一个阈值；黑白图像就只有一通道的灰度直方图，而彩色图像有三个，灰度直方图只能反映灰度分布情况，不能反映图像的像素位置，丢失了图像的位置信息。

图像分为黑白、灰度、彩色图像。黑白图像每个像素值只能是黑或白，没有中间的过度又称为二值图像，像素值只有0和1；灰度图像，没有彩色信息，量化级数256级0-255；彩色图像是指每个像素由RGB分量构成的图像，其中RGB用不同的灰度级来度量，彩色图像的一个像素需要三个字节就是三个小矩阵

图像处理的形式，有单幅图像到单幅图像，多幅图像到单幅图像，单幅图像或多幅图像到数字或符号等，还有窗口处理（处理的是一个矩形区域）和模板处理（任意形状），就是对图像中特定的部分进行处理，串行处理依次对各个像素进行处理，处理算法要按照一定的顺序进行，后一像素的输出依赖于前一像素的处理结果，并行处理，即对图像内的各像素进行同样形式的运算

2.3 图像处理的几种具体算法形式

1.局部处理，这里有一个领域的概念,任意像素（i,j），该像素周围的像素构成的集合（i+p,j+q），叫做该像素的领域，常用的有4领域，8领域，也就是该像素周围有4个像素，8个像素。局部处理输入像素（i,j）,输出像素由该像素和它的领域像素值确定，这种称为局部处理，例如用3*3的模板进行卷积运算，处理的结果就是该像素值是该像素和巴玲玉像素的计算和。 2.点处理输出像素值仅与输入像素值和该系统有关。 3.大局处理输出像素值取决于输入图像大范围或全部像素的值 4.迭代处理对图像进行某种运算直至满足给定的条件 5.跟踪处理后一个像素处不处理取决于前一像素，选择满足一定条件的像素作为起始像素

2.4图像的数据格式与特征

2.4.1图像的数据格式

图像的数据格式是指图像像素灰度值的存储方式，常用一个一维或二维数组加以存储，图像的分层结构从原始图像中依次构成像素越来越少的系列图像，使数据表示具有分层性，优点：先对低分辨率图像进行处理，然后根据需要对高分辨率进行图像处理，可以提高效率；树结构对图像不停的进行二等分，像素具有相同的特征时，这一部分不在进行分割，树结构可以用在特征提取和信息压缩方面；多重图像数据存储，对于彩色图像或多波段图像而言，每个像素包含着多个波段的信息，存储方式有三种1.逐波段存储，分波段处理2.逐行存储，逐行扫描记录设备采用3.逐像素存储用于分类

图像的文件格式，常见的格斯有RAW、BMP、TGA、 PCX、 GIF、 TIFF，这些格式具有以下特征1.描述图像的高度、宽度2.彩色定义3.描述图像的位图数据体，简述RAW格式它是直接将像素按行列号顺序存储在文件中，没有信息头只有图像的像素数据，在读图像的时候，需要事先知道图像大小，它是最简单的图像文件格式；BMP格式由以下四部分组成1.14字节的文件头2.40字节的信息头后面就直接是位图数据3.8字节的颜色定义4.位图数据，调色板对BMP格式的影响有调色板（实际就是一个数组），对于用到调色板的位图，图像数据就是该像素颜色在调色板中的索引值，对于真彩色图，图像数据就是实际的RGB值，两色位就是总共有两个色1个字节就可存储8个像素，2^n=16,16色位需要四位来存储，那么一个字节可存储2个像素；GIF可以存放多幅彩色图像，读取的时候可以按照顺序读出多幅图像，可以形成一种简单的动画效果

3.图像变换

3.1傅里叶变换

图像变换我们在这里主要讲傅里叶变换，傅里叶级数可以看出信号中有哪些频率分量及其所占的比重，有利于对信号进行分析和处理，傅里叶变化可以看做是光学上的棱镜，棱镜可以将光分为不同的光谱，傅里叶变换类似，我们常说的空间域就是时域，图像是一个特殊的二维空间信号，那么傅里叶也对应二维的傅里叶，其实就是二重积分，离散的就累加两次，并且二维可分解为两个一维的，连续傅里叶变换有振幅相位能量（振幅的平方）都是频率的函数；离散的傅里叶变换也就是DFT可用FFT算法来实现，二维的离散傅里叶变换可以分解为两个FFT，根据FFT算法的要求如图一，需要图像的行列数满足2^n，如果不满足需要补零，在电脑上处理离散的傅里叶变换用的多一些，如图二所示原点反映了图像的平均灰度

图一图二图三图四

傅里叶变换的结果是以原点为中心的共轭对称函数，原点即为0频，远离原点的地方为高频，傅里叶变换的一些性质，如平移性在图像初中中，需要奖F(U,V)的原点移动到N*N频域中心，能清楚的分析傅里叶谱的情况，平移前空域，频域原点均在左上方，空域移动，频域只发生相移，并不影响傅里叶变换的幅度，如图三所示；另外还有图像的旋转性质空域旋转频域也旋转，如图四所示；卷积定理和相关定理，卷积定理包括空间域卷积和频域卷积，相关定理空间域F和G相关，等价于频域中F的共轭与G相乘，相关定理和卷积定理都是把积分求和转换为频域相乘，相关定理的应用主要用在匹配，要确定是否有感兴趣的物体区域，F是原始图像G是感兴趣的区域或物体，如果匹配，两个函数的相关值会最大

4.图像增强

图像增强：采用一系列的技术改善图像的视觉效果，或将图像转换成一种更适合于人或机器进行分析和处理的形式；图像增强的主要方法有空间域增强（直接对图像的各个像素进行处理）和频率域增强（对图像经傅里叶变换后的频谱成分进行处理，然后逆变换得到所需要要的图像），图像增强的目的转换为更适合人或机器分析处理的形式，增强后的图像并不一定保真，在图像增强的过程中，不考虑图像的降质情况，图像增强的应用在医学应用中，增强X射线所拍摄的患者的脑部、胸部图像确定病症的准确位置，在交通应用中，对大雾天气图像进行增强，加强车牌、路标等重要信息进行识别；图像增强分为对比度增强，空间域增强、频域增强，下面开始介绍对比度增强（扩大图像中感兴趣特征的目标），方法灰度变换法，包括线性变换，对数变换、指数变换；直方图调整发，有直方图均衡化和直方图规定化，对比度就是明暗对比的程度，对比度增强-灰度变换，通过调整图像灰度动态范围对图像进行增强，即通过调整图像灰度范围对图像进行增强就是黑的更黑白的更白1.线性变换图像变换前的范围是[a,b],变换后图像的范围是[a1,b1],是对整个图像进行变换如图一 2.分段线性函数只对感兴趣的区域进行增强，不感兴趣的区域进行压缩，感兴趣段和不感兴趣段的函数不同 3.非线性灰度函数对数函数和指数函数，用函数来增强横坐标对应的都是没有变换过的图像像而纵坐标是变换后的像素值，对数函数低灰度有较大拉升而高灰度有压缩，指数函数也可以作为图像映射的函数，指数函数对图像的高灰度区有较大的拉伸

图一线性变换图二分段线性函数图三对数函数图四指数函数图五直方图均衡化

4.1直方图均衡化

直方图修正法，灰度直方图用来反映数字图像中每一灰度级与这个灰度级出现频率之间的关系，使用修改图像的直方图对图像进行增强是一种实用、有效的处理方法，直方图修正法包括直方图均衡化及直方图规定化，直方图均衡化是将原图像通过某种变换，得到一幅灰度直方图为均匀分布的新图像的方法。直方图均衡化方法的基本思想是对在图像中像素个数多的灰度级进行展宽，而对像素个数少的灰度级进行缩减。从而达到清晰图像的目的。直方图均衡化就是求映射函数T（r）,引入一个归一化的概念比如[2,4,3,2]归一化2+4+3+2=11，归一化后的数值[2/11,4/11,3/11,2/11];对于离散的数字图像，用频率代替概率，变换函数T（r）的离散形式可以表示为表明，均衡后各像素的灰度值Sk可直接由原图像的直方图算出来（例子链接https://www.jianshu.com/p/902126aa054e）,图片是补充，Sk计是累加，Sk并是离散化所接近的灰度级

公式一均值滤波公式二超限像素图三中值滤波图四梯度算子

4.2图像的空间域平滑

图像的空间域平滑，图像平滑也称为图像去燥，是为了抑制噪声改善图像质量进行的处理，方法主要有均值滤波也叫领域平均法、超限像素平滑法、有选择保边缘平滑法、中值滤波。领域平均法是把当前像素领域内各像素的平均值作为像素的输出值如上公式一所示，用这种方法对图像进行去噪这种方法适合相邻像素之间存在很高的相关性，而噪声是统计独立的，这种算法有个缺点就是在降低噪声的同时会是图片产生模糊特别是在边缘和细节处，而且领域越大，去噪能力增强的同时模糊程度越严重，提出一种改进的方法超限像素平滑法，主题思想是判断在领域内是否存在噪声，存在就平滑，不存在就不平滑，如上公式二所示比起领域平均法可以更好的去除椒盐噪声，而且可以保护有微小灰度差的细节；中值滤波法是用一个滑动窗口，对窗口内的像素灰度值进行排序，用中值代替窗口中心的灰度值，是一种非线性的图像平滑法例子如上图三所示，该方法对脉冲干扰及椒盐噪声的抑制效果好，在抑制随机噪声的同时能有效的保护边缘少受模糊，但对点、线等细节较多的图像不太适合，最重要的环节就是选择窗口尺寸的大小，通常很难事先确定出最佳的窗口尺寸，需要通过从小窗口到大窗口的中值滤波实验，再从中选取最合适尺寸的，窗口，有很多种窗口的类型，如十字窗、矩形窗、菱形窗等，根据经验方形或圆形窗口适合外轮廓线较长的物体图像，而十字窗口对尖顶状的图像效果好。

4.3图像的空间域锐化

图像的空间域锐化：加运算的定义图像锐化的目的是增强图像的边缘或轮廓，图像平滑是通过积分过程使图像边缘模糊，而图像锐化是通过微分使的图像边缘清晰，最常用的图像锐化法1.梯度法，图像法F(X,Y)在（x,y）处的梯度为两个方向的偏导数相加公式如上公式1公式2所示，对离散图像处理来说，经常用的梯度的大小，所以习惯上吧梯度的大小称为梯度，在离散中常用一阶差分来近似一阶偏导数，如上图公式一公式二所示，或者使用梯度算子如上上图的图四所示，除了梯度算子，Roberts,Prewitt和Sobel算子，Prewitt算子加大了边缘算子模板的大小，由2*2扩大到3*3，目的在锐化边缘的同时减少噪声的影响，Sobel算子在Prewitt算子基础上，对4领域采用加权的方法来计算，这些算子都是对图像的边缘进行增强，还有拉普拉斯增强算子，拉普拉斯是一个二阶增强算子，如图五所示，拉普拉斯算子具有以下特点在灰度均匀的区域或斜坡中间算子值为零。增强图像上像元灰度不变，在低灰度形成下冲，在高灰度侧形成上冲，此外还有高通滤波算子和图像卷积来增强边缘，常用的算子如下图六所示

图五图六图七

4.4图像的频域增强

图像的频域增强就是先将原来的图像f(x,y)经过傅里叶变换，然后选择合适的滤波函数H(U,V)对F的频谱成分进行处理，然后经过逆傅里叶变换得到增强后的图像g(x,y),如图七所示，频域低通滤波器H(U,V)，由于高频成分包含大量的边缘信息，所以去噪声的同时会导致边缘信息损失使得图像边缘模糊，可以采用改进后的低通滤波器，比如巴特沃斯滤波器，不像理想低通滤波器那样陡峭，在抑制噪声的同时，图像边缘的模糊程度大大减小，指数型模糊程度比巴特沃斯大一些，梯形低通滤波器是介于理想低通滤波器和指数型低通滤波器之间的，会有一定的模糊。

4.5彩色增强技术

伪彩色增强原理，人的视觉特性，分辨的灰度级介于十几到二十几级之间，彩色分辨能力较弱，伪彩色增强技术就是把黑白图像的各个不同灰度级按照线性或非线性的映射函数变换成不同的彩色色，得到一幅彩色图像的变换技术，伪彩色增强的方法有密度分割法、灰度级彩色变换等，密度分割法把黑色图像的灰度级分为几个区间，给每一个区间指定为一种彩色，这样便可以把一幅灰度图像变为一幅伪彩色图像，灰度级彩色变换，根据色度学原理，将原来灰度图像f(x,y)的灰度范围分段，经过红、绿、蓝三种不同的变换，变成三基色分量，然后用它们分别取控制彩色显示器的红绿蓝电子枪，便可以在彩色显示器的屏幕上合成一幅彩色图像；区分假彩色图像，假彩色图像是把原来的彩色图像转化成一幅新的彩色图像，原理是对一幅自然彩色图像或者同一景物的多光谱图像，通过映射函数变换成新的三基色分量，彩色合成使感兴趣目标呈现出与原图像中不同的、奇异的彩色，目的是使感兴趣的目标呈现出奇异的彩色或置身奇特的彩色环境中，从而更引人注目，提高对目标的分辨率,这个过程可以通过一个矩阵相乘来表示，例如下式的4.5.3所示，彩色变换将RGB彩色图经过HIS变换，获得HIS三分量，根据需要对三分量之一进行增强，再进行增强，在进行反变换可以得到系列增强的RGB彩色图像

5.图像的复原与重建

5.1图形退化

图形退化是指图像在形成、传输和记录过程中，由于成像系统，传输媒介和设备的不完善，使图像的质量变坏，典型的表现是模糊、失真、有噪声，通常是成像和处理过程中引入的噪声，有图像退化就有图像复原，图像复原是要尽可能恢复退化图像的本来面目，它是沿图像退化的逆过程进行处理的典型的图像复原是根据图像退化的先验知识，建立退化模型，以恢复原来的景物图像，因此图像复原的关键是知道图像退化的过程，即退化模型，采用相反的过程求得原始图像，图像增强不考虑图像是如何退化的，不顾增强后的图像是否是失真，只要达到想要的视觉效果可以，图像复原需要知道图像退化的机制和先验知识，客观上找出一种逆处理发放，从而得到复原的图像，输入的图像f(x,y)经过成像系统和噪声的影响变为了个g(x,y).

采用线性位移不变系统模型来描述图像退化的过程的原因，由于许多退化都可以用位移不变模型来近似，这样就可以用许多数学知识如线性代数，一般不用线性位移可变，因为计算量大，并且它也是以线性位移不变为基础，线性位移不变可以处理很多退化问题，如果H（u，v）非常小，比如是0，会严重影响我们的图像，我们处理办法是限制滤波半径，我们知道信号的噪声在高频部分会接近0，在0频率点的时候这个值非常大，所以我们只需要减小滤波半径即可实现。

5.2图像逆滤波复原

逆滤波复原步骤，对退化函数g(x,y)做傅里叶变换，退化函数h(x,y)也做傅里叶变换，F(U,V)再做逆傅里叶变换，得到f(x,y),具体流程如上图；若有噪声存在，为减少噪声对复原信号的影响，将H(u，v)调整为具有低通性质，之前说过也就是减小滤波半径。

5.3图像的几何校正

图像的几何校正：为什么要进行几何校正在日常生活中由于运动模糊、畸变失真退化等，（在成像系统中，图像补捉的平面图像存在一定的转角和倾斜角，转角对图像的影响是产生图像旋转，倾斜角的表现为图像发生了投影变形）图像出现不清晰，比如广角镜头拍出的建筑物通常是歪斜的，图像校正常见用在数字识别，车牌识别，条形码识别中，几何畸变又可以分为线性几何畸变和非线性几何畸变，线性几何畸变：缩放、平移、旋转等畸变，非线性畸变：是由成像面和物平面的倾斜、物平面本身的弯曲，光学系统的像素差造成的畸变，表现为物体和成像各部分比例失衡，几何畸变退化问题的复原，常见的几何畸变退化问题的复原大多是基于成像系统的，就是看看是什么原因造成的，确定原因之后就可以快速的复原图像，缺点是通常情况下我们面临的图像成像系统未知且多样化，这种方法不适合于解决一般性无法预知模型的畸变退化，比如由成像面不平造成的曲面畸变，针对这种情况提出了：多项式变化技术，其实质是利用数值分析的方法求解几何变换方程，优点不需要知道预先系统的模型，对复杂曲面畸变能够进行校正和复原，缺点是不适于时时性较高的系统，对多项式次数的控制点的选取要求严格，下面开始介绍基于多项式变换的几何校正方法：先建立几何校正的数学模型——其次利用已知的条件确定模型参数——最后根据模型对图像进行几何校正。如何操作呢1，图像空降坐标变换，首先建立图像像点坐标和物方就是参考物对应点的坐标变换，求解映射关系中未知的参数，然后根据映射关系对图像各个像素坐标进行校正，它是以一幅正常的图像为基准去校正零一幅图像，如上图三的a.b，校正后的坐标如下图一所示，如果坐标处理完之后就是可以开始第二步了就是灰度内插就是确定校正影像坐标中每一个灰度的值，提就是计算完校正后的坐标，同时把成像灰度值赋予对应像素，通过畸变点的周围像素灰度值通过内插，求出该像素的灰度值，作为（x,y)点的灰度这样就生产了一幅校正后的图像，缺点是有的像素点分布不均匀，会出现像素的挤压，疏密不均的现象，不能满足要求，因此最后还需要对不规则的图像通过灰度内插生产规则的栅格图像，可以先由四点对应的顶点坐标a,b,c,d映射后来确定图像校正的大概范围。还有另外一种确定校正后灰度值得方法就是最近邻元法，在待求点的四邻域中，将距离这点最近的相邻像素灰度赋给该待求点，如下图四所示，十字点位计算所得的坐标，红色像素的灰度值赋给校正后的十字坐标，第三种方法双线性内插法，就是利用待求点四个邻像素的灰度在两个方向上做线性内插，如图五所示，公式如图六所示；三次内插法该方法利用三次多项式s(x)来逼近理论上的最佳内插值函数sin(x)/x,其数学表达式如图七所示，待求像素（x,y）灰度值由周围十六个点的灰度值加权内插得到，可以推导出像素灰度的计算式如下f(x,y)=A*B*C,其中A,B,C如下图八所示

图一图二图三图四图五

图六图七图八

6. 图像压缩

6.1图像压缩

图像压缩：随着数据量的加大，通信的方式发生了改变，由以前的文字语音，转为了文字，语音，图像。图像通信系统的模型，如下图一所示，图像中数据冗余的概念，一句话可以用不同的话来说，可以多用几个字，也可以少用几个字，只要接收端不会产生误解，就可以减少承载信息的数据量，整理图像描述的方法可以达到压缩的目的，就像说话能少说就少说，用尽可能少的话表示信息，因为无损压缩用于要求重构的信号与原始信号完全一致的场合，方法实现是通过统计比如这幅图中有几个a,几个b等，把重复的有数据来计算；我们还可以利用视觉心理冗余，就是看着差不多的样子，比如原来原图是三个色调，但是人眼不是很能分辨，我们就可以把它当做一个色调来看待，这属于用损压缩；由于一幅图像存在数据冗余和主观视觉冗余，其压缩方式就是从这方面来开展的。图像压缩从本质上来说，就是对图像数据按照一定的规则进行变换和组合，从而达到以尽可能少的代码来表示尽可能多的数据信息，压缩通过编码来实现，或者说编码带来压缩的效果，一幅模拟的图像必须经过脉冲编码调制PCM（要通过采样量化编码），才能变成数字图像（PCM早期用于语音信号的传送）；时间分辨率就是每秒采集多少个样本，图像压缩的目的就节省空间，减少传输时间，降低处理成本，图像压缩传输的过程如下图二所示，图像压缩的分类，1从应用角度，有静止图像编码，活动图像编码，二值图像编码，2从信息保持角度分类有有损压缩，无损压缩3从具体的编码技术上有空域法，变换域法，还有预测编码，变换编码，统计编码等。

图一图二

6.2图像保真度准则

图像保真度准则，图像品质的核心是逼真度问题，经过处理的图像与标准图像的偏差可以作为图像逼真度，这一偏差包括亮度，色度，分辨率等，偏差在一定的范围内，如何衡量编码方法的优势，如下图一所示，图像信息熵H（d）与平均码长，如下图二所示，图像编码压缩的性能如图三所示，冗余分为三类编码冗余，像素间相关性冗余，比如由这个像素就可以知道下一个像素的信息，那么这个像素就是冗余的，视觉冗余（人间的空间分辨率就是时间域的采样间隔），消除冗余就可以达到数据压缩的效果。

图一图二图三

6.3统计编码方法

1.统计编码根据图像像素灰度值出现的概率分布特性而进行的压缩编码叫统计编码，熵和平均码字长度，H(d)<R(d)时，一定可以设计出某种平均码字更短的无失真编码方法，反之的无失真的编码方法不存在，熵编码就是使得编码后的图像的平均码字长度尽可能的接近图像的熵H，基本思路是：概率大的灰度级用短码字，概率小的用长码字；2.行程编码就是通过改变图像的描述方式来实现压缩，将一行中颜色相同的相邻像素用一个计数值和颜色来代替比如aaaaabbbbbccc计为5a5b3c,适合行程较长的图像，一般不单独使用3.Huffman编码（熵编码）之前说过，步骤就是将灰度级大的按照概率大小进行排序（降序），每个灰度级作为一个叶子结点，叶子节点就是终端节点，形成一颗树2.将两个根节点概率最小的输合并，合并规则就是这两个节点构造一个双亲节点，双亲节点的概率大小是两者之和，重复1.2直到只有一棵树为止3.左节点设为0右节点设为1，优点即使码，最优码，缺点；当需要对大量符号进行编码时，构造最优霍夫曼码计算会比较大，哈夫曼数一次去两个，若两个数的和正好是下一步两个最小数其中一个，那么这个树直接往上生长。若两个数的和比较大，不是下一步两个最小数其中一个，那么就并列生长，如下图二所示，预测编码如图三所示，对误差直接编码，还原的时候，，流程如下图四所示，预测器发送端和接收端用的是一样的，每行的最开始几个像素无法预测，这些像素需要用其他的方式编码，这是采用预测编码所需要的额外操作，预测系数，计算比价麻烦，在静止的JPEG中可以参考前人得出的推荐值；变换编码就是先变换再编码比如先经过傅里叶变换，经过变换后有的数据用正交性，其变换系数也有一定的相互独立性，如傅里叶变换系数均集中在低频部分，而高频部分的幅值均很小，因此可以对低频的系数量化，编码和传输，对高频部分不处理，这样可以达到图像压缩的目的，如下图五所示。

图一图二图三

图四图五图六

7.图像分割

7.1边缘检测

边缘检测：边缘的定义图像中像素灰度有阶跃变化或屋顶编码的那些像素的集合，如上图六所示，梯度就是两个偏导数的和，为了检测边缘点，选取适当的阈值T，对梯度图像进行二值化，则有梯度大于阈值的为1其他为0，这样就形成了一幅边缘二值图像，这种梯度算子的特点是仅计算相邻像素的灰度差，对噪声比较敏感如下图一所示，Roberts算子与梯度算子检测的方法类似，对噪声敏感，但效果较梯度算子略好，Prewitt算子，Sobel算子对四领域采用带权的方法计算差分可以进一步抑制噪声，Kirsch算子是方向算子，该方法去积和运算最大值作为边缘强度，而将与之对应的模板方向作为边缘的方向，特点是在计算边缘强度的同时可以得到边缘的方向，各方向之间的夹角45度；拉普拉斯算子是一个二阶微分算子，拉普拉斯算子的优点是各向同性，线性和位移不变的对细线和孤立点的检测效果较好，缺点是对噪声的敏感，对噪声有双倍的加强效果，不能检测出边的方向；由于梯度算子和拉普拉斯算子对噪声敏感，因此一般在用它们检测边缘前要对图像进行平滑处理，Marr算子是在拉普拉斯算子的基础上实现的，得益于对人的视觉机理的研究，平滑函数采用正态分布的高斯函数即Marr算子也叫墨西哥草帽，当边缘模糊或噪声较大时，利用Marr算子检测过零点能提供较可靠的边可以通过判断零点交叉点及两侧像素符号的变化来确定边缘点，边缘点两侧的二阶导数是异号的也就是说是凹凸的；下一种方法曲面拟合法基于差分检测图像边缘的算子往往对噪声比较敏感，所以采用平面或高阶全面来拟合图像中一小区域的灰度表面，求这个拟合平面或曲面的外发现方向的微分或二阶微分来检测边缘，可减小噪声的影响其中ab,c的求法如下图九所示其过程特点就是求平均后再求差分，因此对噪声有抑制作用。

图一图二图三

图四图五图六

图七图八图九

7.2Hough变换检测直线

线的检测：通过比较典型的计算值，确定一个点是否在某个方向的线上，Hough变换检测直线，就是累加器的思想，直线在极坐标中用（p, $\theta$ ）来表示一点，在直角坐标系中有过（x0,y0）的直线满足下面的公式，直线在极坐标中对应一个点，所有过定点的直线，在极坐标中对应曲线，那么反过来，在曲线上的一点对应着直线坐标系上的一条直线，若是有多个定点就对应着多个曲线，对应下图的图六这些曲线都有一个共同的交点，是极坐标中的交点，这些点共线，直线方程为到目前为止已经比较清晰了，要检测是不是直线，只需要看极坐标中的曲线是否有交点，有我们就可以检测到直线，Hough变换检测直线的抗噪声性能强，能将断开的边缘连接起来，此外Hough变换可以用来检测曲线，比如用来检测圆有a,b,r三个参数处理比较麻烦，我们采取降维，我们什么情况下可以降维呢，只需要知道边缘的方向，我们可以对圆的方程取导数，这表示参数a,b不独立，只需要用两个参数组成参数空间，计算量就缩减了很多，如下图九所示，对于椭圆的检测可以参照下面的图四；对于任意曲线，以后遇到再说。

图一图二图三

图四图五图六

图七图八图九

7.3区域增长

区域生长：区域生长（region growing）是指将成组的像素或区域发展成更大区域的过程。从种子点的集合开始，从这些点的区域增长是通过将与每个种子点有相似属性像强度、灰度级、纹理颜色等的相邻像素合并到此区域。1.简单的区域增长法，先找出不属于任何区域的像素，把这个像素通其4领域或8领域中不属于其他区域的像素进行比较，若灰度值小于阈值，则合并到同一区域，并对合并的像素赋予标记，这是一个迭代的过程，区域增长，本质也是一种分割；2,混合型区域增长，把图像分割为小区域比较相邻小区域的相似性，相似则合并，直到不能合并为止，1）设灰度差的阈值为0，用简单的区域扩张法把具有相同灰度的像素合并到同一区域，得到初始的分割图像。2）从分割图像一个小区域开始，求出相邻区域间的灰度差，或者比较相邻子块的灰度直方图相似性，将差值最小的相邻区域合并，如下图一所示，3）反复2的操作，把区域依次合并，适当阶段需要停止合并，得到分割图像，4）分裂合并法对分割复杂的场景图像比较有效，基于四叉树的思想，把原始图像整体作为树根或零层，将图像等分成四块，作为被分裂的第层，对于第一层，如果各像素属性一致，则不再等分，如果属性不一致，则子块继续分裂成相等的四块，作为第2层，如此循环，四叉树就是每个节点下面有四个子节点，分裂合并法的编号方式如下图三所示，合并当一层的四块中的像素满足某一均匀性时，将他们合并，比如差不多都接近20，差别大就再分裂，分裂合并法的步骤1，初始分割2，合并处理3，分裂处理，4，合并处理5，消失小区

图一图二图三

图四图五图六

8.二值图像的连接和距离

8.1二值区域的连接性和距离

二值区域的连接性和距离：领域和领接，常用的领域有四领域八领域，一个是十子架一个是十子架加对角线，对于二值图像中pi-11和pi互为4/8邻接，则像素邻接，如上图六所示，欧拉数1像素连接成分数减去孔数的值叫做这幅图像的欧拉数，

像素的可删除性和连接数：二值图上改变一个像素值后，整个图的连接性并不会改变（各连接成分即不分离也不结合，孔不产生也不消失），则这个像素是可删除的，像素的可删除性可以用像素的连接数来检查，连接数二值图像中，与中心像素x0相连接的连接的成分数，连接数的计算如下面的公式，S是领域的意思，连接数的快速计算可以参考下图二

图一图二

图三图四图五

距离：对于集合S中的两个元素p和q，当函数D(P.Q)满足图五的条件时把D(p,q)叫做p和q的距离，也叫做距离函数，其实就是三角形的两边之和大于第三边，距离的计算常用的距离是欧几里得距离，距离变换是一种将二值图像转换为灰度图像的过程，在转换后的灰度图像中每个连通中的像素的灰度级与该像素点到其背景像素点的最佳距离有关，注意下图二IDX是记录非零到零点的距离的该元素的编号，不是说零元素距离非零元素的距离，所谓的图像的距离变换，指的是区分图像的前景和背景，然后计算每个像素到背景像素的距离的最小值，用这个最小值来代替原像素的值，得到一个单通道图像，图像的连通有单重连通（区域里都是同样的元素）和多重连通（该区域内有不仅只有一个元素，还有其它元素）和

图一图二图三

图三图四图五

8.2形状特征提取

区域的内部形状提取与分析，大概流程和上图四所示利用图像层次数据结构提取形状特征，区域内部形状提取内部特征，区域外部形状提取外部特征1，空间域分析：直接在图像的空间域对区域内部提取形状特征，以用于分析，拓扑描述算子，对区域的全局描述很有用，欧拉数是拓扑特性之一，是一个较好的区域描述子，可用于目标识别；凹凸性：连接图像内任意两个像素的线段，如果不通过这个图像以外的像素，则这图形就是凸的，包含一个图像的最小凸图像称为这个图像的凸闭包，凸图像的凸闭包就是它本身，从凸闭包去除原始图像后，所产生的图像的位置和形状是形状特征分析的重要线索；3区域的测量包括面积和周长，面积对于离散的二值图像来说，区域的面积就是区域内像素的总和，周长第一种方法在区域的边界像素中，设某像素与其上下左右像素间的距离为1，与斜方向像素间的距离为 $\sqrt{2}$ 。周长就是这些写像素间距离的总和；第二种方法将边界像素总和作为周长，第三圆形度：描述了区域的紧凑性，常用的特征量还有区域的直径，幅宽和占有率；形状分析的经典方法包括求区域的各阶统计矩，投影和截口等，矩的定义如上图五，在数字图像中用两次求和代替两次积分，m00表示图像灰度的总和(iG,jG)是中心点坐标，中心距的定义如下图二，中心距能反映区域中的灰度相对于灰度中心是如何分布的，利用中心距可以提取一些基本形状特，i代表我们的x，j代表y，对应的就是我们的坐标轴。Hu,M,K提出了对于平移，旋转和大小尺度变换均为不变的距组，归一化中心距的定义如下图三所示；投影和截口对于区域为n*n的二值图像f(i,j),在i轴上的投影p(i),在j轴上的投影为p（j）,具体的式子如下图四所示，也就是在一个方向上做累加，通过投影的好处就是，把信号分解到一维来处理，截口是如何得到呢，是固定i，移动j就可以得到平行于j的截口，固定j，同理可得到平行于i的截口

图一图二图三

图四图五图六

9.纹理分析

9.1概述

纹理特征：纹理最初指的是纤维物的外观，由紧密的交织在一起的单元组成的某种结构，纹理分析的关键：1，纹理识别2，纹理分类3，三维表面重建；图像纹理分析的方法，1，统计分析法：主要是基于图像像素的灰度值得分布与相互关系，找出反映这些关系的特征，基本原理是选择不同的统计量对纹理图像的统计特征进行提取，统计分析法中最常用的是共生矩阵法，另外，还有长行程法，其中共生矩阵又包括灰度共生矩阵和灰度-梯度共生矩阵；常用的模型有回归模型，马尔科夫随机场模型，Gibbs随机场模型分形模型，这些方法都是用模型系数来表征纹理图像，其关键在于首先要对纹理图像的结构进行分析以选择到最适合模型，其次为如何估计这些模型关系，这类方法存在着计算量大，自然纹理很难用单一模型表达缺点；Gibbs随机场模型GFR模型通过集团势能的概念，利用局部计算就能获得全局的结果，因此该模型目前应用较多；分形模型：分形是一种适合于描述具有复杂和不规则形状研究对象的数学模型2，结构分析法：是分析图像纹理的结构，从中获取结构特征，结构分析法首先将纹理看出许多纹理基元按照一定位置的规则组成，然后分两步处理如下，如上图五所示，该方法适用于规则和周期性纹理，实际中较少采用；第二种纹理分析法频谱分析法，该方法主要是基于滤波器理论，包含了傅里叶变换法，加伯变换法，1，傅里叶变换法：只能完成图像的频率分解，因而获得的信息不是很充分，加伯变换可以捕捉到相当多的纹理信息，且具有极佳的空间/频域联合分辨率，因此在实际中获得了较广泛的应用小波变换法：该方法大体分为金字塔形小波变换法和树形小波变换法；

9.2Laws纹理能量测量法

Laws纹理能量测量法1，一阶分析方法；分析方法简单、有效。但所提供的模板较少，应用受到一定的限制，2，原理Laws纹理测量的基本思想是设置两个窗口：一个是微窗口，可以是3x3,5x5或7x7,常采用5x5来测量以像素为中心得小区域的灰度的不规则性，以形成属性，称为微窗口滤波；另外一个为宏窗口，为15x15或32x32，用来在更大的窗口上求属性的一阶统计量，常用的有均值和标准偏差，称为能量变换，再进行纹理特征提取分析，分析流程如上图的图六；纹理模型分析法：一个像素与其领域像素存在着某种相互关系，这种关系既可以是线性的，也可以是服从条件概率的，常用模型有自相关模型，自回归模型，Markov随机场模型和分形模型等；

9.3纹理分析的自相关函数

自相关函数图像纹理的一个重要性质是纹理的反复性，就是反复出现比如树上的年轮，有深色的和相对浅色的，首先定义自相关函数，一幅图像f(x,y)的自相关函数定义如下图一所示；自相关模型2，纹理度量利用图像纹理的自相关函数p(x,y)随x,y大小变化的规律，可以描述图像纹理的粗糙度，规整度，粗略度等特征，令d= $\sqrt{x^{2}+y^{2}}$ ，若图像的纹理较粗，则p(x,y)随d增加而下降的速度较慢，也就是所密集了相关度就大，不密集隔得远相关度就小，纹理较细，d的变动影响p(x,y)就会比较大，随着d的不断增加，p(x,y)会呈现出局部模式排列规则的稀疏，稠密程度；

9.4灰度共生矩阵分析法

灰度共生矩阵法：又称为灰度空间相关矩阵，是通过，研究灰度的空间特性来描述纹理的常用方法，它作为传统的图像纹理分析方法已经广泛应用在数字图像处理的许多领域，尤其是利用图像纹理特征值所表征的图像空间结构信息来改善遥感图像的地学目标分类效果，灰度共生矩阵的定于如下图二所示，角度呢都是从水平开始顺时针旋转，灰度共生矩阵的公式如下图三所示，p(i,j,d, $\theta$ )，i=f(x1,y1),j=f(x2,y2),d是两点之间的距离， $\theta$ 为夹角

图一图二图三

注意一个方向上我们来反复数比如0-0算两次，从左边的0来看是一次，从右边的0来看又是一次，灰度共生矩阵的例子，如下图一，图二所示，d, $\theta$ 取不同的数值组合，可以得到不同情况下的灰度共生矩阵，当d取值比较小的时候，对应与变化缓慢的纹理图像（较小细的纹理），其灰度共生矩阵对角线上的数值较大，而纹理的变化越快，则对角线上的数值越小，而对角线两侧的元素值增大，一幅图像的灰度共生矩阵反映了图像灰度关于方向，相邻间隔，变化幅度的综合信息，是分析图像的局部特征和排列规律的基础，灰度共生矩阵并不能直接提供纹理信息，为了能描述纹理的状况，需要在灰度共生矩阵的基础上再提取能综合表现灰度共生矩阵状况的纹理特征量，称为二次统计量，为了进一步描述纹理的特征，Haralick根据共生矩阵定义了熵，对比度，能量，相关，方差，等14种用于提取图像中纹理信息的特征统计量；一幅图像的灰度级数一般是256级，这样级数太多会导致计算灰度共生矩阵大，计算量大，为了解决这一问题，在求灰度共生矩阵之前，将图像的灰度级压缩为16级，也就是先对矩阵进行优化，在提取特征之前，需要对灰度共生矩阵作正规化处理，如下图二所示；纹理特征二次统计量（典型的特征）1，角二阶距(能量），纹理粗对应的能量大，纹理细对应的能量小当灰度共生矩阵种类分布较集中于主对角线附近的，说明局部区域内图像灰度分布较均匀，图像呈现较粗的纹理，角二阶矩的取值相应较大，2，惯性矩（对比度）表征图像中的局部灰度变化总量，图像的对比度可以理解为图像的清晰度，在图像中纹理的沟纹越深，则其对比度I越大，图像越清晰，纹理深的I值大，纹理浅的I值小；相关性：用来衡量灰度共生矩阵的元素在行的方向或列的方向的相似程度，反映某种灰度值在某些方向的延伸长度，若延伸的越长，则相关值越大，是灰度线形关系的度量，公式的定义如下图三所示，纹理粗是COR值大，纹理细时COR值小；4，熵：是图像所具有的信息量的度量，是测量灰度级分布随机性的特征参数，表征了图像中纹理的复杂程度，若图像没有任何纹理，则熵值几乎为零，若纹理较大，则熵值较大5，局部均匀性（逆差距）：；反映图像纹理的同质性，度量图像纹理局部变换的多少，其值大则说明图像纹理的不同区域间缺少变换，局部非常均匀，当共生矩阵沿对角线集中时，其逆差距值较大；，共生矩阵法的小结1，无关特征向量的选取是以4个方向的特征值的平均值2，共生矩阵抽取的纹理特征度量属于整个图像区域，常用于分类或分析整个区域或整幅图像3，每一个统计属性都可以生成一个纹理图像或波段与光谱特征一起应用于分类，这些统计表征的优点是即能够反映分类类别空间特征的显著差异，又能与基于概率模型传统分类算法兼容，4，根据不同的图像和所需要提取的地物信息选取不同的统计属性作为指标，最终达到提取地物信息的目的如下图四所示。

图一图二

图三图四

10.模板匹配

10.1模板匹配

模板匹配定义：当对象物的图案以图像的形式表现时，根据该图案与一幅图像的各部分的相似度判断其是否存在，并求得对象物在图像中位置的操作叫做模板匹配；模板匹配的用途1，在几何变换中，检测变换的对应点，2，多光谱或多时相图像间的图像配准（图像配准(Image registration)就是将不同时间、不同传感器（成像设备）或不同条件下（天候、照度、摄像位置和角度等）获取的两幅或多幅图像进行匹配、叠加的过程）3，在立体影像分析中提取左右影像间的对应关系4，运动物体的跟踪；1)基本思想设检测对象的模板为t(x,y)令其中心与图像f（x,y）中的一点（i，j）重合，检测t(x,y)和图像重合部分之间的相似度，对图像中所有的点都进行这样的操作，根据相似度为最大或者超过某一阈值来确定对象物是否存在，并求得对象物所在的位置，2）匹配尺度（1）非相似度定义如下图一所示非相似度，值越小，匹配程度越好；（2）相似度，值越大，匹配程度越好，定义图下图二所示

图一图二

模板匹配法的改进1，高速模板匹配法（1）序列相似性检测法SSDA法，用非相似度作为指标，计算图像f(x,y)在点(u,v)的非相似度m(u,v)作为匹配尺度式子（u，v）表示的不是模板中兴坐标，而是它左上角坐标，模板的大小为mxn，如果灰度差超过某一个阈值，就认为这个位置上不存在和模板一致的图案，从而转移到下一个位置上计算m(u,v),因此能大幅度地缩短计算时间，提高模板匹配的速度。（2）粗精检索结合方法首先进行粗检索，它不是让模板每次移动一个像素，而是每隔若干个像素把模板和图像重叠，并计算匹配的尺度，从而求出对象物大致存在的范围，然后，仅在这个范围内，让模板每隔一个像素移动一次，根据求出的匹配尺度确定对象物所在的位置，这样，整体上计算模板匹配的次数减少，计算时间缩短匹配速度提高，但是用这种方法具有漏掉图像中最适合位置的危险性2，高精度定位的模板匹配利用图像之间的自相关在一般的图像中有较强的自相关，因此进行模板匹配计算的相似度就在以对象物存在的地方形成平缓的峰，基于图像轮廓的特征匹配方法与一般的匹配相比较，表现出更尖锐的相似度的分布，可获得高精度的定位。

10.2图像识别概述

图像识别：是指利用计算机对图像进行处理，分析和理解，以识别各种不同模式的目标和对象的技术，图像识别的发展经过了三个阶段，文字识别，数字图像处理与识别，物体识别主要是对三维世界的客体及环境的感知和认识，属于高级的计算机视觉范畴，它是以数字图像处理和识别为基础的结合人工智能，系统学等学科的研究方向，其研究成果被广泛应用在各种工业及机器人上。图像识别问题的数学本质属于模式空间到类别空间的映射问题，目前在图像识别的发展中，主要有四种识别方法：统计模式识别，结构模式识别，模式模糊识别，人工神经网络方法。1，统计模式识别1）概率分类法基于概率统计模型得到各类别的特征向量的分布，以取得分类的方法，特征向量分布的获得是基于一个类别已知的训练样本集，是一种监督分类（监督分类又称训练场地法、训练分类法，是以建立统计识别函数为理论基础、依据典型样本训练方法进行分类的技术，即根据已知训练区提供的样本，通过选择特征参数，求出特征参数作为决策规则，建立判别函数以对各待分类影像进行的图像分类）的方法；分类器是概念驱动的，2）聚类分析：目标用某种相似性度量的方法将原始数据组织成有意义的和有用的各种数据集3）模糊模式识别基于模糊数学理论，利用隶属函数描述事物的不确定性，识别根据研究对象对于某模糊子集的隶属程度采用最大隶属原则识别法，择近原则识别法，模糊聚类分析法对模式进行识别4）结构模式识别该方法通过考虑识别对象的各部分之间的联系来达到识别分类的目的，识别采用结构匹配的形式，通过计算一个匹配程度值来评估一个未知的对象或未知对象某些部分与某种典型模式的关系如何，当成功地制定出一组可以描述对象部分之间关系的规则后，可以应用一种特殊的结构模式识别方法-句法模式识别，来检查一个模式基元的序列是否遵守某种规则，即句法规则或语法5）人工神经网络方法神经网络是受人脑组织的生理学启发而创立的，由一系列相互联系的，相同的单元（神经元）组成，相互间的联系可以在不同的神经元之间传递增强或抑制信号，增强或抑制是通过调整神经元相互间联系的权重系数来实现的，神经网络可以实现监督和非监督学校条件下的分类二，模式存在与时间空间可观察的事物具有时间或空间分布的信息，模式所指的不是事物本身，而是从事物获得的信息，因此模式往往表现为具有时间和空间分布的信息，模式的直观特性：可观察性，可区分性，相似性；模式识别用计算机实现人对各种事物或现象的分析，描述，判断，识别如周围物体的认知桌子，椅子人的识别，声音的识别，气味的识别，模式识别对的基本构成如下图一所示

图一

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/你好赵伟/article/detail/206618