Fuzzy C Means 算法及其 Python 实现——写得很清楚，见原文

Fuzzy C Means 算法及其 Python 实现

转自：http://note4code.com/2015/04/14/fuzzy-c-means-%E7%AE%97%E6%B3%95%E5%8F%8A%E5%85%B6-python-%E5%AE%9E%E7%8E%B0/

1. $K-Means$ 算法向 $FCM$ 算法的扩展

在 $K-Means$ 算法中，如果要将数据集合 $X=\{ X_1,X_2,X_3,\dots,X_n \}$ 划分为 $k\,(1 \le k \le n)$ 个类，使得任意数据对象 $X_i$ 必须属于并且仅属于一个类，同时每一个类至少包含一个数据对象，那么可以用一个 $k\times n$ 的矩阵 $U$ 来表示，矩阵中的任意一个元素 $u_{ij}$ 可以表示为：

${u_{ij}} = \left{ \begin{cases} 1& {X_i \in G_j} \\ 0& {X_i \notin G_j} \end{cases} \right.$

其中 ${G_j}\left( {j = 1,2, \ldots ,k} \right)$ 表示第 $j$ 个类。并且 $U$ 需要满足如下条件 $(1 \le i \le k,\,1 \le j \le n)$ ：

$\left{ \begin{cases} {u_{ij}} \in \{0,1\} \\ \sum\limits_{i = 1}^k {{u_{ij}}} = 1 \\ \sum\limits_{j = 1}^n {{u_{ij}}} > 0 \end{cases} \right.$

如果上述矩阵 $U$ 中的元素 $u_{ij}$ 的取值范围不仅仅是 0 或者 1，那么就可以推广到模糊集合上的划分， $U$ 就变成了模糊判定矩阵。此时 ${u_{ij}}$ 需满足：

(1) $\begin{equation*} \left{ \begin{cases} {u_{ij}} \in [ 0,1 ]} \\ \sum\limits_{i = 1}^k {{u_{ij}}} = 1 \\ \sum\limits_{j = 1}^n {{u_{ij}}} > 0 \end{cases} \right. \end{equation*}$

2. 目标函数与聚类中心

$K-Means$ 算法在度量数据对象的非相似性（或者说距离）时一般使用欧几里得距离，要求每个类的聚类中心与数据对象的距离平方之和最小，目标函数可以表示为：

$J = \sum\limits_{i = 1}^k {\sum\limits_{j = 1}^n {s_{ij}^2} }$

${s_{ij}} = Eculid({C_i},{X_j})$

其中 $C_i$ 表示任意聚类中心，而聚类中心一般取类内所有对象在各属性上的平均值，因此可以表示为：

${C_i} = \frac{{\sum\limits_{j,{X_j} \in {G_i}} {{X_j}} }}{{\sum\limits_{j = 1}^n {{u_{ij}}} }}$

${G_i}{\kern 1pt} \left( {1 \le i \le k} \right)$ 表示任意一个类。

将算法推广到模糊集后， $Dunn$ 对样本与类中心之间的距离采用隶属度的平方来加权， $Bezdek$ 则进一步引入了隶属度的加权指数 $m$ 从而得到了新的目标函数：

(2) $\begin{equation*} J = \sum\limits_{i = 1}^k {\sum\limits_{j = 1}^n {{{\left( {{u_{ij}}} \right)}^m}s_{ij}^2} } \end{equation*}$

要使得 (2) 式达到最小值则要求聚类中心 $C_i$ 和隶属度 $u_{ij}$ 满足如下条件：

(3) $\begin{equation*} {C_i} = \frac{{\sum\limits_{j = 1}^n {u_{ij}^m{X_j}} }}{{\sum\limits_{j = 1}^n {u_{ij}^m} }} \end{equation*}$

(4) $\begin{equation*} {u_{ij}} = \frac{1}{{\sum\limits_{l = 1}^k {{{\left( {\frac{{{u_{ij}}}}{{{u_{lj}}}}} \right)}^{2/\left( {m - 1} \right)}}} }} \end{equation*}$

3. $FCM$ 算法计算过程

见原文和代码实现

Fuzzy C Means 算法及其 Python 实现——写得很清楚，见原文