直观的理解就是你这做图像task之前你对你要处理的图像的了解，对应的就是bayes里面的先验概率。比如对于自然图像，我们知道一个图像通常可以表示为W*H*C的矩阵，每一个位置在8bit下取值可以0-255，但是并不是随机生成的这样的矩阵就是一个自然图像，还需要满足很多约束，比如局部平滑，patch自相似等。这些约束实际上就是人们对自然图像的经验总结得到的，也就是先验。这些先验在很多图像task中可以作为loss中的正则化项，来迫使处理后的图像不会太离谱。通常的mse是很难保证这一点。另外，现在流行的gan的D loss很多时候也会作为图像处理的先验loss，就是因为它在给定图像集后，能够学习到先验分布，可以作为实际task的先验约束。

什么是正则化？

简单来讲，正则化是抑制样本里面的某些特征，使得模型对于这些特征的重视度下降，举个例子来讲，房价预测，要考虑的特征或者因素有房屋面积，房屋新旧年限，地理位置，房屋是否有独立卫浴，房间是否有阳台等等，将这些因素都考虑进去，可以得到一个模型，但是可能某些因素并不是我们特别关系的，那么就需要使用正则化的手段，来降低模型对于该因素的重视程度，这样可以使模型简化，如果正则因子比较大，那么相对应的因素特征可以直接被模型给忽视掉。相当于从本来的n个特征，变成n-m个特征（n大于m）

任何一个模型，其实都是代表了一种偏好或者数据特征中的一种特定规律，在这种偏好或者规律的指导下，可以得出一种结果，但是如果换了一种偏好，就可能得出另外的一种结果。可以抑制房屋面积特征，也可以抑制地理位置特征，等等，这都取决于建模者的偏好和实际的应用场景。

图像先验图_四月的我的博客-CSDN博客

一阶卷积层

（DIN论文中有涉及）

一阶卷积层是卷积神经网络中的一种常见网络层。它是一种用于图像处理和特征提取的卷积操作。一阶卷积层使用一个滤波器（也称为卷积核或卷积矩阵）在输入数据上进行卷积运算。

在一阶卷积层中，滤波器是一个小的矩阵，它通过滑动窗口的方式在输入数据上进行卷积运算。滤波器的参数（或称为权重）通过训练过程来学习，以便有效地捕捉输入数据中的特征。卷积运算会将滤波器与输入数据的局部区域进行点乘操作，并将结果相加，得到输出特征图。

一阶卷积层在图像处理中通常用于提取低级特征，例如边缘、纹理等。它可以通过调整滤波器的大小、数量和步幅等参数来控制输出特征图的大小和数量。一阶卷积层在深度学习中被广泛应用于许多计算机视觉任务，如图像分类、目标检测和图像分割等。

标准的1阶卷积层是卷积神经网络中常用的一种层类型。它使用一个一维卷积核对输入进行卷积操作，从而提取输入数据中的特征。1阶卷积层通常用于处理序列数据，如文本、音频和时间序列数据。

在1阶卷积层中，卷积核是一个一维向量，通过滑动窗口的方式在输入上进行卷积操作。卷积操作可以捕捉到输入数据中的局部模式，并将其转化为更高级的特征表示。通过堆叠多个1阶卷积层，网络可以学习到更加复杂和抽象的特征。

标准的1阶卷积层通常包括以下步骤：

定义输入数据的形状和尺寸。
定义卷积核的数量和大小。
指定卷积操作的步幅（stride）和填充（padding）方式。
将输入数据与卷积核进行卷积操作。
可选地应用激活函数，如ReLU。
输出卷积后的结果。

通过不同的参数设置和网络结构设计，可以实现不同复杂度和性能的1阶卷积层。

二阶深度可分离卷积块

深度可分离卷积是对传统卷积的改进，通过拆分空间维度和通道维度的相关性，减少了卷积计算所需要的参数个数。深度可分离卷积计算主要包含两个部分，第一部分是Depthwise Convolution ，将通道拆分，每个通道用一个单独的卷积核卷积。即卷积核的个数等于输入特征的通道数，并且每个卷积核只有一个通道。第二部分是Pointwise Convolution，是为1×1卷积，卷积核通道数和输入的通道数相同。

参考链接：

http://t.csdn.cn/y3hUj http://t.csdn.cn/Zdzr9

一阶残差层

尺度

图像处理中的尺度一般指的是图像的分辨率，尺度越大图像越模糊。

所谓多尺度，实际上就是对信号的不同粒度的采样，通常在不同的尺度下我们可以观察到不同的特征，从而完成不同的任务

尺度不变(scale invariance)在图像处理中指一个算法对图像的尺度变化保持稳定的性能。

（即一幅图片中的某个物体的大小永远是那么大(设置一个标准尺度来度量)，而不是因为它所在图片的放大缩小而改变。这就是尺度不变性）

主要有以下几个方面的意思:

算法可以处理不同尺度、分辨率的图像,其性能不会因图像缩放而大幅波动。例如特征提取算法。
算法可以检测出图像中不同尺度的目标。例如多尺度目标检测算法。
算法可以处理图像的局部区域,而不需要看到完整图像。例如对局部特征的描述算法SIFT。
算法对图像的放大、缩小、旋转等仿射变换保持平移不变性。例如一些特征匹配算法。
算法可以提取出图像的相对特征,不受绝对尺度的影响。例如比例、形状等。

总之,尺度不变性使得算法在面对图像的尺度变化时可以保持较好的 generalization 性能,而不会过于依赖绝对尺度信息。这在很多图像分析任务中都是极为重要的特性。

http://t.csdn.cn/MCUPh

感受野

在卷积神经网络中,感受野(Receptive Field)是指特征图上的某个点能看到的输入图像的区域,即特征图上的点是由输入图像中感受野大小区域的计算得到的。神经元感受野的值越大表示其能接触到的原始图像范围就越大，也意味着它可能蕴含更为全局，语义层次更高的特征；相反，值越小则表示其所包含的特征越趋向局部和细节。因此感受野的值可以用来大致判断每一层的抽象层次。

卷积层(conv)和池化层(pooling)都会影响感受野,而激活函数层通常对于感受野没有影响,当前层的步长并不影响当前层的感受野,感受野和填补(padding)没有关系。

公式求取的感受野通常很大,而实际的有效感受野(Effective Receptive Field)往往小于理论感受野,因为输入层中边缘点的使用次数明显比中间点要少,因此作出的贡献不同,所以经过多层的卷积堆叠后,输入层对于特征图点做出的贡献分布呈高斯分布形状

增量学习

增量学习（Incremental Learning）是一种机器学习方法，其中模型能够持续地学习和适应新的数据，并在不重新训练整个模型的情况下更新自身。

传统的机器学习方法通常需要通过重新训练整个模型来适应新的数据。然而，当数据量庞大时，重新训练整个模型可能会导致高昂的计算成本和时间消耗。此外，重新训练模型还可能导致遗忘之前已经学习到的知识。

与传统方法相比，增量学习允许模型在已有知识的基础上学习新的数据。它可以在不重新训练整个模型的情况下，利用新的数据进行部分更新或调整。这使得模型能够有效地处理持续产生的数据流，并保留之前学习到的知识。

增量学习方法通常使用增量学习算法，这些算法具有能够自动调整权重和参数的能力，以便在接收到新数据时更新模型。这些算法通常依赖于记忆机制或遗忘机制，以平衡新旧数据之间的权重，从而实现在不丢失先前知识的情况下进行连续学习。

总之，增量学习是一种能够持续学习和适应新数据的机器学习方法，它允许模型在不重新训练的情况下进行部分更新，并保留之前学习到的知识。这种方法对于处理大规模数据集和持续变化的环境非常有用。

各种损失

【标准化方法】(3) Group Normalization 原理解析、代码复现，附Pytorch代码_立Sir的博客-CSDN博客

基于滤波器的分词器

基于滤波器的分词器是一种利用深度卷积神经网络来对输入图像进行特征提取和分析的方法。它通过使用卷积操作来逐渐降采样输入图像，从而获得特征图。在这个特征图上，每个位置都代表输入空间中的一个区域，也称为感受野。这些区域被视为标记或令牌，每个标记都有其对应的特征表示。这种方法可以帮助提取图像中的重要特征，用于后续的图像处理和分析任务，比如风格迁移、图像生成等。

基于滤波器的分词器和编码器有什么区别？

基于滤波器的分词器和编码器在图像处理中有不同的作用。

基于滤波器的分词器是用来将图像分割成不同的区域，并提取这些区域的特征表示。这些特征表示可以用于后续的任务，比如图像分类、目标检测等。

而编码器通常是指将输入数据转换成另一种表示形式的模型。在图像处理中，编码器可以将图像转换成一个更加紧凑的表示，通常用于图像压缩、特征提取等任务。

因此，基于滤波器的分词器主要用于图像分割和特征提取，而编码器则用于将输入数据进行转换和压缩。

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/盐析白兔/article/detail/623170