[机器学习]Fuzzy C-Means算法原理解析_如何理解隶属矩阵更新公式

1、概述

模糊C均值(Fuzzy C-Means、FCM)算法本质上是一个以距离作为衡量标准的聚类算法， 但是与传统的K均值(K-Means)算法相比，FCM算法引入了模糊的概念，此时就没有明确指出样本属于某一个簇，而是通过隶属度来表示样本属于某一个簇的程度。

2、FCM算法的一般步骤

本文以$x_i,i=1,2,...,n$为样本，使用FCM算法聚为$e$个簇。

1）初始化隶属度矩阵

首先使用(0,1)范围内的随机值初始化隶属度矩阵，且要满足约束条件$$\sum _{j=1}^e{u}_{ij}=1,\forall i\in [1,2,...,n],$$其中$u_{ij}$代表第$i$个样本$x_i$属于第$j$个簇的程度。

2）计算聚类中心

使用如下公式计算聚类的中心$$c_j=\frac{{\sum }_{i=1}^n{u}_{ij}^{\beta }{x}_i}{{\sum }_{i=1}^n{u}_{ij}^{\beta }},$$其中$\beta (\beta >1)$表示模糊度。

3）计算目标函数值

使用如下公式计算目标函数$$J=\sum _{i=1}^n\sum _{j=1}^e{u}_{ij}^{\beta }{d}_{ij}^2,$$其中$d_{ij}=||x_i-c_j||$。

4）更新隶属度矩阵

使用如下公式更新隶属度矩阵$$u_{ij}=\frac{1}{{\sum }_{k=1}^e{\frac{d_{ij}}{d_{ik}}}^{2/\beta -1}}$$

5）重复2-4步，不断迭代，使得目标函数值逐渐减小，直至收敛。

3、FCM原理解析

通过FCM算法一般步骤可以看出，FCM算法与传统的K-Means算法相比最大的特点就是引入了模糊数学的概念，并通过隶属度来表达模糊的性质，而与隶属度相关联的还有模糊度$\beta$，通过$\beta$来表达模糊的程度。注意到模糊度存在一个约束条件，即$\beta >1$，当$$\beta \to 1$$时，在隶属度的更新公式中$$2/\beta -1\to +\infty ,$$则$${\sum _{k=1}^e\frac{d_{ij}}{d_{ik}}}^{2/\beta -1}\to 1或+\infty 。$$$\because$当 d i j = min ⁡ { d i 1 , d i 2 , . . . , d i k , . . . , d i e } d_{ij}=\min\{d_{i1},d_{i2},...,d_{ik},...,d_{ie}\} dij​=min{di1​,di2​,...,dik​,...,die​}时， d i j d i k { = 1 , k = j < 1 , k ≠ j , \frac{d_{ij}}{d_{ik}} \left \{

$$\begin{aligned} =1, k=j \\ <1, k\neq j\end{aligned}$$ \right., dik​dij​​{=1,k=j<1,k​=j​,故有$$\underset{\beta \to 1}{\lim }{\sum _{k=1}^e\frac{d_{ij}}{d_{ik}}}^{2/\beta -1}=1;$$当 d i j ≠ min ⁡ { d i 1 , d i 2 , . . . , d i k , . . . , d i e } d_{ij}\neq\min\{d_{i1},d_{i2},...,d_{ik},...,d_{ie}\} dij​​=min{di1​,di2​,...,dik​,...,die​}时，$$\frac{d_{ij}}{d_{ik}}\{\begin{array}{r}=1,d_{ij}=d_{ik}\\ \succ 1,d_{ij}>d_{ik}\\ <1,d_{ij}<d_{ik}\end{array},$$故有$$\underset{\beta \to 1}{\lim }{\sum _{k=1}^e\frac{d_{ij}}{d_{ik}}}^{2/\beta -1}=+\infty ,$$$$\therefore \underset{\beta \to 1}{\lim }{u}_{ij}=0或1，$$且有$x_i$到距离最近的中心所在的簇的隶属度为1，到其余簇的隶属度为0，此时的FCM算法就等同于K-Means算法，而且此时FCM算法的中心的计算公式也与K-Means算法的中心更新方式相同，而它的目标函数就可以理解为整体的样本点到他们所属的簇中心的距离最小，也与K-Means算法的最终目标大同小异，因此可以将FCM算法视为K-Means算法的推广，K-Means算法是FCM算法在$\beta$取极限为1时的特例。