论文概述系列-FCM和其相关改进算法

模糊C均值聚类算法

作为最具代表性的软聚类算法，模糊C均值聚类算法（FCM）对模糊性具有灵活性。因此，FCM得到了广泛的应用。

FCM的模型

FCM是一个基于中心的聚类算法，它与C均值不同的是，FCM中每个样本点不完全属于一个簇（或者一个中心点），而是通过隶属度表明样本点与每个簇的接近程度。

Given the data set be X = { x 1 , x 2 , ⋯   , x n } \mathcal{X}=\{\mathbf{x}_1,\mathbf{x}_2, \cdots, \mathbf{x}_n\} X={x1,x2,⋯,xn} with x j ∈ R p \mathbf{x}_j \in\mathbb{R}^p xj∈Rp being the $j$-th sample and the target clusters number $c$, FCM clustering partitions the $\mathcal{X}$ into $c$ clusters by the cluster centers V = [ v 1 , v 2 , ⋯   , v c ] ∈ R p × c \mathbf{V}=[\mathbf{v}_1, \mathbf{v}_2, \cdots, \mathbf{v}_c]\in\mathbb{R}^{p\times c} V=[v1,v2,⋯,vc]∈Rp×c and the membership degree matrix U = [ u i j ] ∈ R c × n \mathbf{U}=[u_{ij}] \in\mathbb{R}^{c\times n} U=[uij]∈Rc×n.

Here, $\mathbf{V}$ and $\mathbf{U}$ are iteratively solved by the following optimization problem

min ⁡ U , V J ( U , V ) = ∑ i = 1 c ∑ j = 1 n u i j m ∥ x j − v i ∥ 2 , s . t . ∑ i = 1 c u i j = 1 , u i j > 0 \min_{\mathbf{U},\mathbf{V}} J(\mathbf{U},\mathbf{V})=\sum_{i=1}^c\sum_{j=1}^n u_{ij}^m\|\mathbf{x}_{j}-\mathbf{v}_{i}\|^2,\\s.t.\sum_{i=1}^c u_{ij}=1, u_{ij}>0 U,VminJ(U,V)=i=1∑cj=1∑nuijm∥xj−vi∥2,s.t.i=1∑cuij=1,uij>0
with the fuzziness weighting exponent $m>1$.

模型的求解

FCM scheme usually initializes U ( 0 ) \mathbf{U}^{(0)} U(0) and updates $\mathbf{V}$ and $\mathbf{U}$ alternatively as

v i ( t 1 ) = ∑ j = 1 n ( u i j ( t ) ) m x j ∑ j = 1 n ( u i j ( t ) ) m , u i j ( t 1 ) = [ ∑ k = 1 c ( ∥ x j − v i ( t 1 ) ∥ ∥ x j − v k ( t 1 ) ∥ ) 2 m − 1 ] − 1 , \mathbf{v}^{(t 1)}_{i}=\frac{\sum\limits_{j=1}^{n}\left(u^{(t)}_{ij}\right)^{m}\mathbf{x}_{j}} {\sum\limits_{j=1}^{n}\left(u^{(t)}_{ij}\right)^{m}},\\ u^{(t 1)}_{ij}=\left[\sum_{k=1}^c\left(\frac{\|\mathbf{x}_{j}-\mathbf{v}^{(t 1)}_{i}\|}{\|\mathbf{x}_{j} -\mathbf{v}^{(t 1)}_{k}\|}\right)^{\frac{2}{m-1}}\right]^{-1}, vi(t 1)=j=1∑n(uij(t))mj=1∑n(uij(t))mxj,uij(t 1)=⎣⎡k=1∑c(∥xj−vk(t 1)∥∥xj−vi(t 1)∥)m−12⎦⎤−1,

until convergence.

FCM的优缺点总结

FCM的优点

1. 对有覆盖数据（Covered clusters）有好的描述。簇与簇之间的边界点的分配处理效果比较好，因此，应用范围很广，例如图像分割，模式识别等；
2. FCM的结果比C均值的结果更加稳定；

FCM的缺点

1. FCM仍然易出现局部最优解；
2. FCM收敛慢，主要因为每一个簇中心的更新都设计全部样本点的贡献；
3. FCM不具有鲁棒性；
4. 在FCM中，不能通过隶属度的大小不能反映样本与样本，样本与簇中心的集合关系（距离远近）。
5. 在高维数据下，效果不好。

对缺点2的问题，如下图所示，其他样本点对簇的中心点收敛的影响：

后续进展

在未来工作中，主要以论文的形式带大家了解FCM及其相关改进算法。通过简单易懂的方式对全新的论文有一个粗略的了解，如果感兴趣，可自行从参考文章中找到原文进行仔细研读。

我也是想通过这个平台去结交一下对非监督学习领域感兴趣的朋友，进行探讨和交流。

这篇好文章是转载于：学新通技术网