【深度学习每日小知识】Co-occurrence matrix 共现矩阵

共生矩阵或共生分布（也称为：灰度共生矩阵 GLCM）是在图像上定义为共生像素值（灰度值或颜色）分布的矩阵）在给定的偏移量处。它被用作纹理分析的方法，具有多种应用，特别是在医学图像分析中。

方法

给定灰度图像 ，共生矩阵计算具有特定值和偏移量的像素对在图像中出现的频率。

• 偏移量$(\Delta x,\Delta y)$ 是一个位置运算符，可以应用于图像中的任何像素（忽略边缘效应）：例如，$(1,2)$可以表示“一向下，二向右”。

• 对于给定的偏移量，具有p个不同像素值的图像将产生一个$p\times p$共生矩阵。

• 共现矩阵的值$(i,j{)}^{th}$给出了图像中像素值$i^{th}$和像素值$j^{th}$以偏移给定的关系出现的次数。

对于具有p个不同像素值的图像，$p\times p$共生矩阵 C 在$n\times m$图像$I$上定义，由偏移量 $(\Delta x,\Delta y)$ 参数化，如下所示：

C Δ x , Δ y ( i , j ) = ∑ x = 1 n ∑ y = 1 m { 1 , if  I ( x , y ) = i  and  I ( x + Δ x , y + Δ y ) = j 0 , otherwise C_{\Delta x,\Delta y}(i,j) = \sum_{x=1}^{n} \sum_{y=1}^{m}

$$\begin{cases} 1, & \text{if } I(x,y) = i \text{ and } I(x + \Delta x, y + \Delta y) = j \\ 0, & \text{otherwise} \end{cases}$$ CΔx,Δy​(i,j)=x=1∑n​y=1∑m​{1,0,​if I(x,y)=i and I(x+Δx,y+Δy)=jotherwise​

其中： $i$和$j$是像素值；x和y是图像 $I$ 中的空间位置；偏移量$(\Delta x,\Delta y)$定义了计算该矩阵的空间关系；并$I(x,y)$表示像素$(x,y)$处的像素值。

图像的“值”最初是指指定像素的灰度值，但可以是任何值，从二进制开/关值到 32 位颜色及以上。 （请注意，32 位颜色将产生 $2^{32}\times 2^{32}$ 共现矩阵！）

共现矩阵也可以用距离$d$和角度$theta$来参数化，而不是用偏移量$(\Delta x,\Delta y)$ 。

任何矩阵或矩阵对都可以用来生成共生矩阵，尽管它们最常见的应用是测量图像中的纹理，因此如上所述的典型定义假设矩阵是图像。

还可以跨两个不同的图像定义矩阵。这样的矩阵然后可以用于颜色映射。

别名

共现矩阵也称为：

• GLCM（灰度共生矩阵）
• GLCH（灰度共生直方图）
• 空间相关矩阵

图像分析中的应用

无论是考虑图像的强度或灰度值还是颜色的各个维度，共生矩阵都可以衡量图像的纹理。由于共现矩阵通常较大且稀疏，因此通常采用矩阵的各种度量来获得更有用的特征集。使用此技术生成的特征通常称为 Haralick 特征，以 Robert Haralick 命名。

纹理分析通常涉及检测图像中旋转不变的方面。为了近似这一点，通常会计算对应于相同关系但以各种规则角度（例如 0、45、90 和 135 度）旋转的共生矩阵并求和。

共生矩阵、小波变换和模型拟合等纹理测量尤其在医学图像分析中得到了应用。

应用场景

1. 自然语言处理（NLP）： 共现矩阵在词汇语义分析、主题建模等方面非常有用。它可以帮助理解不同词汇之间的关系，进而用于词义的聚类分析。

2. 图像处理： 在图像分析中，共现矩阵通常用于纹理特征的提取，可以帮助区分不同的物体或场景。

3. 数据分析和挖掘： 共现矩阵还可以用于各种数据分析任务，如推荐系统、模式识别等。

具体示例

NLP示例

假设我们有一个简短的文本：“the cat sat on the mat”。我们可以创建一个共现矩阵，其中包含文本中的每个单词（忽略重复），并计算它们共同出现的频率。

图像处理示例

在一张图片中，我们可以计算不同像素值之间的共现频率，这可以帮助我们分析图像的纹理特征。

AI图片示例

为了更直观地解释这一概念，我将创建一张图像来展示共现矩阵在NLP和图像处理中的应用。图像将包括一个简单的NLP共现矩阵示例，以及一个图像处理中的共现矩阵示例。

让我们开始创建这个图像。

这张图像直观地展示了共现矩阵在自然语言处理和图像处理中的应用。

• 左半部分展示了一个用于自然语言处理的共现矩阵示例。这里用一个简单的表格表示了几个单词（如’the’, ‘cat’, ‘sat’, ‘on’, ‘mat’）在一个样本句子中的共同出现频率。

• 右半部分则展示了图像处理中的共现矩阵。这部分用不同灰度的网格表示了在一个样本图像中不同像素值的共现频率。

这样的视觉展示有助于更好地理解共现矩阵的概念和其在不同领域的应用。