注意力机制引导下的多维度特征融合红外小目标检测方法（硕士论文一篇）_红外小目标检测的深度学习方法

1.绪论

1.1 研究背景及意义

红外小目标检测主要有如下几点：
1.目标缺乏表观特征。由于距离远、目标尺寸过小，小目标十分缺乏形状和纹理等表观特征，使得基于外观建模类检测方法效果欠佳；
2.红外成像质量差。不同于可见光图像的高质量图像，红外成像系统往往伴随着高噪声、信杂比低、对比度较差的问题，使得红外小目标被淹没		在背景杂波与干扰中难以检测。同时当遇到环境过于复杂，如城市上空、海岸港口等，也会造成虚警率增大的问题；
3.实时性要求高。在军事及国防领域中，及时并准确地检测定位到目标对于国家安全具有重要意义。
随着红外小目标领域的不断发展，多种检测算法被不断提出。从最初的简单地将目标建模为具有类高斯形状的物体，利用滤波、局部对比度等方法进行检测，到后来的将红外检测图像建模为低秩背景与稀疏目标分量的结合并通过张量分解求解。但是如下通过先验假设的方法，通常鲁棒性不强，所以只能单独应对单一的假设场景。
于是很多学者还是尝试使用数据驱动的深度学习的方法来完成红外小目标检测的任务，同时结合注意李网络，使得网络关注到感兴趣区域并提取出更为鲁棒的多维度特征。但是数据驱动的模型在很多任务中是缺乏数据的，所以训练的模型效果其实一般。
1
2
3
4
5
6

1.2 国内外研究现状及发展动态

对于红外小目标检测的问题，目标的形状纹理、灰度变化在时间上的连续性、运动轨迹的连续性等相关先验信息。就目前而言，主流的对红外小目标检测的方法有两种，一种是检测前跟踪(TBD)，即先根据运动目标的连续性特征，累计所有可能轨迹上的灰度值，然后根据目标的短时灰度特征进行轨迹的后验概率计算得到检测跟踪结果；二是检测后跟踪(DBT)，即在单帧图片上进行检测，然后得到可能的目标，结合时空的连续性，将其他的杂点排除掉，然后获得小目标检测。
在实际应用中，TBD虽然信噪比低的情况，但由于运算量过大导致算法实时性较差，难以完成军事场景下高速移动的目标物体的检测。DBT相反复杂度较低，易于在硬件平台上实现，通过能够保存较高的帧率，实现实时检测。

1.2.1 背景估计模型

早期的红外小目标检测的基本假设时目标所处的背景区域变化平缓，而目标则时打破背景相关性的辐射强度高且变化剧烈的物体。这种思想基本思想是背景是连续的，同时突出的小目标，而且这两个部分是相互独立的。使用原始图像减去估计得到的背景就是得到的目标。具有代表性的方法有高通滤波、中值滤波和形态学滤波算法。

1.2.2 低秩稀疏模型

近年来低秩稀疏分解作为一个新的解决思路引入到红外小目标检测中。

1.2.3 视觉注意力机制

由于视觉注意力机制可明显提高视觉信息的效率和准确性。越来越多的学者开始将其运用到红外小目标检测当中。当肉眼观察一副含有小目标的红外图像时，目标区域通常能迅速地引起视觉上的注意，因此可以将目标区域看作红外图像中的显著性部分，通过显著性检测的方式，迅速抑制背景等非注意区域，突显目标区域，从而达到小目标检测的目的。
部分研究者烤鱼到人眼视网膜感受野的特征，采用一些接近小目标特点与勃起得到红外小目标的显著性图，比如shao等提出的拉普拉斯-高斯滤波器；wang等提出基于高斯差分滤波器，首先计算滤波器进行计算，随后再通过目标特征的显著性程度进行阈值分割，获得最终红外小目标检测结果；Qi等基于小面板模型提出了快速显著性方法，根据目标具有类高斯的形状设计了专属的提取模板。
而更为主流的思想时采用数据注意力中的对比度机制进行红外小目标检测。基于目标与背景之间有较为明显的亮度差异这一点，chen开创性地提出了局部对比度度量模型，利用滑动窗口分块提取局部对比度度量模型，利用滑动窗口分块提取局部对比度特征，同时利用多尺度分块理论应对目标尺寸变化问题，有效解决了滤波类方法无法区分高频早点和目标的问题。由于局部对比度的方法简单有效，越来越多的学者再LCM的基础上进行改进创新。如wei提出了多尺度块对比度度量(MPCM)模型，改进对比度计算方式以使得亮暗目标均可被检出，同时使用并行计算方式提高算法实时性；deng等提出了基于熵窗口选择的对比度度量模型，根据熵的局部统计特性自适应地调节窗口大熊啊，实现弱小目标的检测；Han等提出相对局部对比度测量模型，能在增强目标的同时抑制背景；为了解决复杂背景杂波下的红外小目标检测，Bai等提出了基于导数熵的对比度度量模型，DECM可有小增强昏暗的小目标抑制复杂的背景杂波，同时对噪声的变化也具有较好的鲁棒性。
一些学者通过融合注意力机制与其他领域知识对红外小慕白哦进行检测，得到了鲁棒性、检测率更有的模型。

1.2.4 深度学习模型

近年来深度学习模型机器学习的深入，研究者们开始尝试将基于学习的方法引入到红外小目标检测领域当中，用以克服传统方法泛化能力弱、鲁棒性不强的问题。

2.红外小目标基础理论

2.2 红外图像特征分析

一般红外小目标主要是由三个分量组成：1.背景；2.目标；3.噪声。

2.2.1 红外成像原理

红外成像技术优点如下：1.隐蔽性好；2.环境适应性强；3.相比于雷达，体积小，重量轻，功耗低，使用于精确制导武器。

2.2.2 红外背景特征

在中红外相机的远距离成像中呈现出小的特性缺乏表观特征，当背景杂波严重时，目标则被淹没在背景杂波当中信噪比变得极低，目标的精确然测也变成极为困难。红外图像被分解成目标、背景和噪声。数学模型如下：

2.2.3 红外小目标特性

红外成像中小目标的特性主要为大小和强度两个方面。受限于红外探测器的特性，在指导反导场景下，威胁目标往往因距离过远而在场景中以缺乏形状和纹理的小目标形态出现。

2.2.4 红外噪声特性

IRST系统的特性是成像差、分辨率低、噪声干扰多，而噪声实际熵是一种不需要随机成分。
常见的系统噪声由热噪声、散粒噪声、光子噪声和1/f噪声四大类。

红外成像中的噪声可以分成动态和非均匀噪声这两类。非均匀噪声收到成像材料结构及杂质等固有因素影响。
非均匀噪声可以利用非均匀校正类算法消除。
常见的动态噪声为低频、椒盐、高斯白噪声三种。探测器在成像过程中动态噪声的分布在空间上近似满足高斯分布的假设，而校验噪声是传感器，传输通道和解码处理等过程中产生的，这些噪声的残生不受场景变换的影响，并不存在空间和时间上的相关性；低频噪声主要会对相邻像帧之间的强度变化造成影响。
实际上热噪声、散粒噪声墩、光子噪声都近似服从高斯分布：

信杂比是红外目标检测中非常重要的衡量指标，信噪比越低说明噪声越强目标越弱，计算如下:

2.3 视觉注意力机制

2.3.1 注意力机制理论

人类的视觉系统在受到外界刺激时会迅速反应，首先会具有选择性地筛除接收信号中存在的大量冗余，接着将注意力放在场景中令人感兴趣的区域，并对区域内的信息做出分析，这种机制被称为视觉注意力机制。图例一中红色虚线区域的方框颜色与其他方块颜色明显不同，示例二红外虚线区域的线条方向与其他线条不同，示例三红色虚线区域的圆形与其他区域不同，示例四红色虚线区域的图形在形状颜色上均与其他图形不同。实际上，当人眼看到这些图像时，其他区域有着显著性的差异，因此能被人眼迅速识别并赛选出来。而这个识别筛选的过程也叫做视觉选择性注意力过程。

注意力机制最早起源于现代生理学和认知心理学在视觉方面的研究，学者们对灵长类动物视觉神经系统的研究发现，视觉信息在大脑内的传递时按照固定的路径进行的。当视网膜细胞接收大宋外部师姐传来的信号时，信号会通过神经节传递到大脑皮层，而在大脑皮层中，信号又会依次在视皮层简单细胞、复杂细胞、超复杂细胞、高级复杂细胞中进行传递。这个过程看似简单，然而许多学者对信息传递仍然存在很大分歧。
在认知科学领域，分歧点在于人类视觉时关注到局部还是全局特征。但很多情况下，局部和全局特征是很难进行区分的。为了克服视觉选择注意所由的问题，并且将人类视觉的这种信息快速处理方式应用起来，让计算机也能够拥有人类般只能的信息处理方式，研究者提出了不同的计算理论，如特征整合理论，格式塔知觉理论顿号引导搜索理论。
（1）特征整合
该理论认为视觉信息的处理主要分成两个阶段，一是前期的视觉选择注意，而是后期的知觉集中注意，并将特区的特征进行整合得到显著性区域。它认为视觉注意的过程是由简单到复杂，由局部到全局的一个，即视觉吧物体分解成一些简单的不同类别的特征模块，然后在后续的知觉过程中，将这些基础的特征和性质组合是被出整个目标对象。
（2）格式塔知觉
该理论认为视觉系统对外界信息的处理的处理首先获得的是物体的全局性特征和基本概念，如有需要，视觉系统才会在后续的处理中去知觉物体的细节特征，即整体优于局部。该理论还认为人类的视觉系统具有拓扑不变性，当感知到环境发生变化，视觉系统将对环境中有着相同拓扑结构的内容进行快速知觉，具有拓扑不变性的区域能够率先被感知。利用格式塔理论进行显著性目标检测时，常用到的时其中的对称性规律和连续性规律，当场景中的物体在颜色或形状上具有对称性时，将作为显著性目标被观察到。
（3）引导搜索
该理论是在特征整合理论模型的基础上进行修正，认为视觉注意的信息传递通道包括非选择性和选择性处理通道。在非选择性阶段内，首先快速捕捉场景中的全局信息，如语义信息、空间结构和特征分布等；而在选择阶段进行系列加工，该阶段会使用上一阶段的信息进行引导，从相应图中具有最大相应的位置开始应道后续的视觉搜索，通过特征联合搜索使注意力关注到目标本身。该理论认为系列加工是在平行加工的基础上进行的，其加工顺序的选择时取决于前一个阶段中平行加工的特征处理结果。

2.3.2 注意力计算模型

计算机视觉系统在模拟人类视觉系统在模拟人类视觉系统中可以迅速高效地关注到重点区域的特征。被广泛应用到计算机视觉、医学图像、图像处理、深度学习和自然语言处理等各种不同的区域中。对于人类来说，当面对复杂场景时，我们可以迅速注意到重点区域，并处理这些区域。对于视觉系统，上述过程可以抽象成如下数学模型：
$$Attention=f(g(x),x)$$
g(x)表述对输入特征进行处理并产生注意力的过程，f(g(x),x)表示注意力对输入特征进行处理的过程。
在计算机视觉领域，学者们对视觉注意力的过程，$f(g(x),x)$表示结合注意力对输入特征进行处理的过程。因该机制可从海量的图像数据中确定出最重要、最有用、当前行为最相关的部分并忽略大量冗余内容。近年来，研究者们为了模拟人类的视觉注意力机制，基于特征整合理论和引导搜索理论。包括基于认知、决策论、图论、频率分析和基于深度学习的视觉注意模型。
（1）认知注意模型
绝大多数显著性检测模型都能划归为认知注意模型。该模型总共有三个步骤：1.特征提取；2.但维度特征图计算3.融合得到最终显著图。首先从颜色、亮度、方向这三方面将输入图像划分成多个不同的初级视觉特征通道，并构建相应的高斯特征金字塔，然后再多个尺度下做中心-周边操作来模拟感受野的工作方式并残生特征显著图，交叉尺度合并特征并归于话得到单特征维的显著图，随后使用生物学中的赢者取全机制得到空间维度上最显著的位置，最后采用返回抑制策略得到最终的注意区域。目前该模型已经拥有多种实现方式。

（2）决策论注意模型

决策论类型的注意模型的主要思想时认为感知系统需要产生具有决策论意义的与外界环境有关的最优决策，即视觉注意过程应当收到当下任务的驱动并得到最优结果。实际上决策论模型的理论基础时引导搜索理论，它既包含了自顶向下的任务驱动注意力，也包含了自底向上的数据驱动注意力。被广泛用于分类和定位预测等任务当中，并具有较高的准确率。
最具有代表性的时判别显著性模型，将显著性区域和无关背景区域分类的问题，通过最优化决策问题求解，该模型将显著图的计算转变为一个像素点的二分类问题，并通过基于最小去往误差的方法自上而下地求解。
(3)频率注意模型
除了再空间域上对图像进行图像进行处理，还可以从频率域的角度出发求解图像的显著性。频率主要提模型形式简单易于实现，被广泛用于注意焦点预测和显著性检测，因此能够满足实时性要求，但其生物合理性尚未明确。
（4）图论注意模型
基于图论的注意力在数学的角度可以看作概率框架。基本思想是将人的眼球运动视为可预测的时间续约，同时伴随着许多影响最终结果的隐变量。图论注意模型最常用的便是动态贝叶斯网、隐默尔科夫模型和条件随机场等。
（5）结合深度学习的注意模型
学习类的方法对人眼关注区域进行显著性标注，再通过自动的方式得到显著性标注，再通过自动学习的方法得到显著性检测模型。可以简单划分四类：
1.开始于重复注意模型，特点是使用了循环神经网络；
2.开始于空间变换。特点是显式地预测重要的区域，代表性工作还有可变卷积网络等；
3.开始于压缩激励网络，特点是隐式地预测重要的部分，带代表性工作是卷积注意力模块；
4.注意力机制相关的注意力方法，代表是非局部神经网路Non-Local，VIT等。
同时根据注意力的维度可以分成四种基本类型：1.通道注意力；2.空间注意力；3.时间注意力；4.分支注意力
除此之外还有两个注意力组合：1.通道-空间注意力2.空间-时间注意力。

2.4 特征融合方法

红外特征融合主要分成由低到高三个级别可以分为像素级融合(PLF)、特征融合(FLF)和决策级融合(DLF)。
PLF是一种底层级别的融合，优点是可以保留更多细节信息，但由于大量数据存在高度冗余，导致融合效率低下、分析能力不足且抗干扰性差。
DLF是最高级别的融合方式，虽然其容错性强、处理时间短并且分析能力强，但对提取的特征的表达能力要求较高，特征之间需要相互独立，从而确保每个决策其的分析能力；
但是由于红外数据冗余性较高，同时目标特征的表达能力弱，所以PLF和DLF并不适用于红外小目标的检测。
FLF是中间层级的融合方式，主要是对数据进行特征级的融合，从而消除特征之间的冗余，得到相互独立的特征分量，提高图像信息提取的实时性和可靠性，使后续目标检测任务能更好地完成。由于图像各类特征间存在类内方差小类间方差大的特点。

2.4.1 贝叶斯理论

根据贝叶斯最小错误决策理论，未知类样本选择已知样本状态下后验概率最大的作为其优类。将分类器的输出结果视为特则会特征，使用概率密度估计方法将不同特征归一化到相同指数，以得到最优输出。

2.4.2 机器学习

机器学习是采用先验知识和数据学习的方式提高算法模型，将机器学习分为监督、半监督和无监督。
基于主成分分析的特征融合算法。通过PCA变换可以提高特征表达中的信噪比，降低甚至剔除掉噪声向量，从而保证图像融合后的质量。
基于线性判别分析的特征融合算法：LDA不同于PCA的方差最大理论，是将高维的数据投影到低维的最佳分类空间，以达到特征提取和特征压缩降维的效果，投影到子空间的数据样本具有类内紧凑、类间分离的特点，即样本特征在该空间中有最优的可分性。
2.4.3 稀疏表示方法
稀疏表示理论的基本思想是利用数据样本具有稀疏的先验信息，从一个超完备字典中搜索到充分少的原子作为基，从而完成对目标信号的有效线性估计。基于稀疏表示的特征融合算法，首先对样本提取多维特征，然后建立特征联合稀疏表示矩阵，通过计算稀疏表示举证从而达到多维度特征融合的目。
基于多模态稀疏表示的特征融合方法提出，通过训练数据的稀疏线性组合来表示样本数据，同时约束测试样本的不同模态的观测数据以共享其稀疏表示。

2.4.4 深度神经网络

深度学习理论实在人工神经网络的基础上发展起来的机器学习理论，通过在神经网络结构中加入更多的隐含单元得到深度神经网络模型。其中深度卷积神经网络模型是监督学习类方法中的只用模型。CNN将特征提取于分类器训练过程融为一体，实现了端到端的仅需要维护模型输入于输出的机器学习模型。这种方法在实际工程中广泛应用，兼具鲁棒性和精确度。按照相互融合的特征图在神经网路中的相距的远近，可以分为同层特征融合、短程特征融合和长程特征融合。
（1）同层特征融合：神经网络中有多个卷积核同时对输入的特征进行卷积操作，这样输出特征的通道数即为该层的卷积核个数，即实现了多维度特征之间的同层特征融合。
（2）短程特征融合：He等将残差学习理论引入到深度网络的设计中，在深度神经网络引入残差连接，该方法引申的resnet在ImageNet等。
（3）长程特征融合Ronneberger等在在算计机分割任务中，基于全卷积网络的编码网络设计出了U-Net。

3. 基于局部对比度模型的红外小目标检测

3.1 概述

本章从模型驱动的角度出发，利用视觉注意力中的显著检测于对比度机制，针对性地设计适合红外小目标特征的检测放啊。

3.2 面核模型

对于一副红外图像，我们可以从视觉注意力机制的角度出发，假设红外图像中的显著区域是小目标区域，可以通过计算显著性图，来抑制图像和噪声等不显著的分量。
Haralick提出小面核模型，其本质思想是一个三维立方体的任何一个平面都可使用一个二元三次函数来表是，即图像的每个小领域的灰度强度表面可以用一个规范形式的二元三次函数来近似，因此可以通过拟合小目标的类高斯形状得到专门的提取小目标的类高斯形状得到专门提取小目标的滤波算子。
假设$R\times C$图像中以某像素为中心的$5\times 5$领域敞口，其中坐标系为R={-2,-1,0,1,2},c={-2,-1,0,1,2},此时，二元三次函数表示的像素灰度计算如下：

式子中，p是集合$(r,c)\in R\times C$的离散正交多项式，$K_i$是对应的系数。根据上式，沿着居中像素(0,0)的行和列的二阶偏导数为：

由于$K_i,i=4,6$是与头像中的不同像素(x,y)有关，为了避免混淆，我们将这些稀疏具象化为$K_i(x,y),i=4,6$。因此，可以推到出式(3-3)下。图像中像素$(x_0,y_0)$处的拉普拉斯算子：

利用文献中提出的最小二乘曲面拟合和多项式的正交性，可以将习俗确定为：

式中，I(x,y)表示原始的灰度强度。
因此，所有系数$K_i(x,y)$都可以方便地通过对以(x,y)为中心像素的$R\times C$的领域窗口的强度进行线性组合计算，每个系数权重表示为：
$$W_i(r,c)=\frac{P_i(r,c)}{\sum \sum P^2(r,c)},i=4,6$$
此外，通过代入上述$P_i(x,y)$的定义，可以得到两个权重模板为：

式(3-7)的结果表明，式(3-4)的梯度幅度可以通过乳香$I(x,y)$与权重模板$W_4$和$W_6$的卷积和来计算。为了简化计算，它等于$I(x,y)$与加性核心$(W_4+W_4^T)$的一次卷积。实际上，由于核中的分母是无效的，并对通常情况下红外小目标区域比其周围区域更亮，则可以进一步消除分母系数，并对中心的$3\times 3$区域设为正好设为正号。Qi等人创新地提出可以利用图3-2所示的$5\times 5$的面核算子近似拟合图像斑块的底层强度表面，他能有效地背景当中分离小目标。

实际上，与拉普拉斯核相比，面核算子插值后的三维形状更贴近红外i图像中小目标周围区域的特征。其四角的权重最小，即像素离目标中心越远，强度对比度越高。针对红外小目标检测问题，面核算子会更加优于拉普拉斯算子及基于相位谱傅里叶变换的显著性检测方法，具有更优秀的目标表征和噪声抑制能力。
在实际应用中，通常利用该算子对输入图像进行目标区域的粗提取，从而达到提高检测的目的。

3.3 局部对比度度量

对比度度量是以生物学研究成果为基础指导，采用简单规则实现高效检测的方法。研究表明在底层视觉注意机制中对比度机制是由十分有效的，因此越来越多的显著性物体检测模型卡hi是利用底层对比度特征来计算显著性值。
在红外小目标领领域，首先引入对比度机制的是澳门大失血的陈俊龙教授，他基于目标与背景之间有较为明显的强度差异这一特点，开创性地提出了局部对比度度量模型，为后续对比度度量在红外小目标领域的应用奠定了基础。本节将着重分析LCM系列算法的优缺点，并对其进行针对性的改进，介绍针对这些缺点所设计的新的多尺度局部对比度度量方法。

3.3.1 模型设计与分析

3.3.1.1 LCM模型

红外目标与其邻近区域相比具体有亮度不连续的特性，但又没有明显的结构信息。根绝这些先验知识，设计基于对比度机制的目标增强方法是提高小目标检出率的一种可行方法。局部对比度度量模型提出在红外图像上使用一定尺寸的滑动窗口对整幅图像从左到右，从上到下逐像素滑动计算局部对比度值，白色方框便是滑动窗口，红色方框u为假设的目标区域，s表示整幅图像。每个滑动窗口被划分为9个子窗口，其中每个子窗口的宽和高都是远窗口的1/3，中间的0号图像块代表目标可能出现的区域，同时定义$m_i$为第i个子窗口的平均灰度值。
目标局部对比度计算步骤如下：
（1）计算窗口周围八领域块的平均灰度值：
（2）计算局部块对比度值，中心子窗口与其领域窗口的对比度可表示:
$$c_i=\frac{L_0}{m_i}$$
式中，$L_0$表示中心窗口的像素最大值；
（3）计算LCM值，由于模型假设目标的灰度比领域高，那么则有：
$$\begin{gathered} LCM=\underset{i}{\min }{L}_0\times c_i=\underset{i}{\min }{L}_0\times \frac{L_0}{m_i}=\underset{i}{\min }\frac{L_0^2}{m_i} \\ 即有: \\ LCM=\frac{L_0^2}{ma{x}_i{m}_i} \end{gathered}$$
当LCM的值越大，中心区域是目标的可能性越大。因为如果中心区域是目标，则有$L_0>m_i$,进而$C>L_0$;如果中心区域不是目标，则$L_0\le m_i$,进而$C\le L_0$,也因此目标区域像素值得到增强，背景得到抑制。
但是LCM模型的缺点在于容易收到高亮度的点噪声的干扰；而滑动窗口逐像素移动，导致算法时间实时性差的缺点，在文献中得到改进。

3.3.1.2 MPCM 模型

多尺度块对比度度量模型是基于LCM模型的改进，利用滑动窗口分块提取局部对比度特征，同时利用多尺度分块理论应对目标尺寸变化问题，有效解决了滤波类方法无法区分高频早点和目标的问题。它具有两个方面的有点：一是在增强目标的同时能够抑制背景，并且能增强目标；2.算法易于并行，在保持高检测率和低虚警率的同时，具有较好的实时性。
MPCM的具体步骤如下：
（1）首先将目标子窗口与背景之间的区别定义为：
D ( T ) = ( d ( T , B 1 ) d ( T , B 2 ) ⋅ d ( T , B 8 ) ) D(T)=\left(

$$\begin{matrix} d(T,B1)\\ d(T,B2)\\ \cdot\\ d(T,B8) \end{matrix}$$ \right) D(T)= ​d(T,B1)d(T,B2)⋅d(T,B8)​ ​
d表示与背景的差异程度。d的计算方式有多种，原作者选择的是均值做差，即：
$$d(T,B)=m_T-m_{B_i},(i=1,2,\cdots ,4)$$
式中,$m_T,m_{Bi}$分别为目标区域与背景子区域的像素均值。
基于目标与背景的灰度差异，进一步提出：
$$\widetilde{d_i}=d(T,B_i)\ast d(T,B_{i+4}),(i=1,2,\cdots ,4)$$
式中，$\widetilde{d_i}$表示了中心区域与周围领域在不同方向上的灰度差异，$\widetilde{d_i}>0$，则表示中心区域与领域的差异是一致的，要么比中心区域亮，要么比中心区域暗，因此可以衡量目标区域的特征。
目标与背景之间的对比度越大越好，因此定义在某一尺度下目标的块对比度度量:
$$PCM(x_{ii},y_{jj})=\underset{i=1,2,3,4}{\min }\widetilde{d_i}$$
式中,(x_{ii},y_{jj})表示目标区域的中心位置的坐标。
最后分别计算各个尺度下的PCM值，选取最大的值作为最终输出结果即可。

###3.2.2 多尺度局部方差对比度模型
应用人类视觉对比度机制可增强目标和背景之间的比较，即增强目标和抑制背景。基于人类对比度机制的算法仍存在缺陷，如WLDM不能很好地抑制背景、ILCM会平滑目标、RLCM可以检测复杂背景下的目标打死你耗时等。针对上述问题，本小节将针对地设计更好的局部对比度度量方法。
，每个窗口被划分成9个$3\times 3$的子窗口，中间块T是目标可能出现的区域。
由于红外小目标的尺寸大小在$9\times 9$以内，为了能使滑动窗口更好的框住小目标，定义尺寸s=3,5,7,9。在每个尺度s下用相应大小的滑动窗口对图像逐像素滑动，得到当前尺度下的局部方向差对比度相应，其计算方式如下：
$$LDD{C}_s=ReLU(min(m_T-m_{B_i}),i=1,2,\cdots ,8$$
式中，$m_T$表示目标块的灰度均值，$m_{B_i}$表示第i个背景块的平均灰度值，两只做差得到8个差值，挺通过ReLU激活函数得到差值中非负且最小的那个值，若无非负数便取零，再通过平方操作得到后再尺度s下点(x,y)的局部对比度值$C_s(x,y)$。
利用式子获得输入图像的局部对比度映射，度量了当前位置与其领域之间的差异度，并增强了目标信号并抑制背景杂波。但由于小目标的大小是不断变化的，因此再四个尺度上做最大数池化操作实现尺度不变性，计算方式如下：
$$MLDDC(x,y)=\underset{s}{\max }(C_s(x,y)),s=3,5,7,9$$
该计算方式能很好地避免LCM对比度值随亮度大侠变化的特点，使得度量方式能适应计算背景，且不存在块效应，同时也不会像MPCM模型一样将黑色空洞造成虚警。

3.4 整体算法框架

本章设计了基于面核和多尺度局部块对比度的红外小目标检测算法，基本理论来自于视觉注意力机制中的对比度机制，以及特征整合理论。利用面核算子快速地对图像进行显著区域的粗提取，避免后续步骤中不必要的计算，然后结合设计的新多尺度局部对比度度量方法，针对候选区域进行更加精细准确的红外小目标提取，使得模型在间距实时性的同时满足对精确度的需求。

步骤一：首先使用Facet面核算子对原始红外图像I进行滤波器操作，并得到面核滤波图$I_{facet}$。这一步主要是对图像中可能为目标的区域；
步骤二：粗阈值分割得到目标候选区域图$I_{candidate}$，对原始红外图像中可能为目标的区域逐像素;
步骤三：用候选区域图I_{candate}做辅助，对原始红外图像中可能为目标的区域逐像素计算多尺度局部块对比度值
步骤四：由于步骤三中在四个尺度下均进行了对比度计算，因此得到了四张不同尺度下的局部对比度图，最终通过通道维的最大化线性整流做融合，从而得到最终的红外小目标检测结果。

4. 基于多特征建模的红外小目标检测

4.1 概述

4.2 目标特征建模

4.2.1 形态学特征

形态学建模类的方法一般是基于红外小目标的尺寸很小且通常魏斑状区域。因此可以通过构造合适的结构元素对其进行状态学特征的描绘。本章使用了适合红外小目标特征性的Top-hat算子，不同于传统的Top-hat算子，提取目标时对噪声以及背景早搏的影响更加鲁棒。

4.2.2 信息熵

在红外小目标图像中，通常目标区域的亮度会有明显的变化，而背景区域往往时平缓变化。因此可以定义局部的信息熵来表示区域内灰度值的混乱程度来表达目标区域的特征。
信息熵特征时利用一定大小的滑动窗口逐像素华东计算得到，滑动窗口的形式，分为目标区域、边界区域与背景区域。针对局部窗口的信息熵E定义如下：
$$E=-\frac{1}{n}\sum _{i=1}^l{p}_{i}lo{g}_2{p}_i(I_i-I_b)$$
式中，$p_i$表示当有灰度级和n个像素时，第i个灰度级$I_i$的概率，$I_b$表示边界区域的平均灰度级。由于目标区域的灰度变化较大，因此目标区域通常具有较高的信息熵。目标的E可以通过各灰度与$I_b$的插值来增强。对于背景，高于和低于$I_b$的灰度可以相互抵消，从而抑制背景。
$$C{E}_s=E_{target}-E_{background}$$
最后通过多尺度操作，取s为3，4，5，9得到4张对比熵特图，在整体的算法模型中，将对提取得到的4张特征图进行降维融合，采用主成分分析法对信息熵特征的通道数从4维降为1维度。

4.2.3 对比度模型

根据3.3.2节设计的局部方向差对比度：
$$LDDC=ReL{U}^2(mi{n}_{i=1,\cdot ,8}(m_T-m_{B_i}))$$
其中，$m_T$表示目标区域的灰度均值，$m_{B_i}$表示第i个背景块区域的平均灰度值，方向差对比度特征值即为LDDC。
最后改变活动窗口的尺寸，得到4个尺度下的对比度特征图，在后续的特征融合降维中，采用PCA将特征通道数从4维降为1维。

4.2.4 方向导数

为了避免结构边缘被误判断为小目标，使用具有强边缘抑制效果的积累方向导数特征来进行抑制。如图所示，其中$\varphi$窗口为目标窗口，$\Omega$为背景窗口，可以明显看出仅考虑目标窗口与背景窗口的灰度差异特征性时，边缘结构的相应也会很强。同时当目标出现在强边缘附近时，目标的对比度特征响应也会降低。因此，本章使用八方向累积方向导数特征来区分这种情况。

如图4-4所示为滑动窗口大小为$5\times 5$时，计算八个方向的累积导数特征的算子。明显看出，目标的八方向累计导数都为正，当目标亮度对比背景越亮，该特征值便会越大。而强边缘虽然能够在某一方向上具有较强的累积方向导数响应，但在边缘方向，该响应会降低值接近于0.因此该特征可以明显提取特征并且抑制强边缘干扰。同样为了适应目标的尺度变化，累积方向导数将会在$3\times 3$.$5\times 5$,$7\times 7$,$9\times 9$这四个尺度上被计算。每个尺度上的累积方向导数方向导数特征都有其对应的计算模板。

当滑动窗口逐像素对图像进行处理时，在每个尺度下都会得到8个方向累积导数算子所对应的特征值，选取8个特征值中的非负最小值作为当前尺度下的方向导数特征值，得到方向乐基达溞属特征图DCDF。
$$DCD{F}_s=max(mi{n}_{d\in (u,ur,\cdots ,ul)(ReLU(I_{(x,y)}\cdot K_d^s))})$$

5.对比度先验与跨层注意力融合红外小目标检测

5.1 概述

模型驱动的红外小目标检测方法多是基于目标具有显著性、对比度和稀疏性等先验假设对问题建立模型并求解。其难点在于建模精确度难以保障，且由于模型时针对具体的已知数据特征进行简化建立。

5.2 基准网络选择

略

5.3 多尺度局部方向差对比度方法模块化

略