【数学建模常用模型】分类专题_数学建模分类模型应用

这次介绍一下数模国赛常用的分类方法，以下这方法也是现在应用比较广泛的分类方法：K-近邻算法（k-Nearest Neighbors，KNN）和支持向量机（Support Vector Machine, SVM）。

K-近邻算法

K-近邻算法的基本思想是：如果一个样本在特征空间中的K个最相似（即特征空间中最邻近）的样本中的大多数属于某一个类别，则该样本也属于这个类别。该方法在定类决策上只依据最邻近的一个或者几个样本的类别来决定待分样本所属的类别。以空间中k个点为中心进行聚类，对最靠近他们的对象归类。

KNN方法思路简单，易于理解，易于实现，无需计算参数；不足之处是计算量较大，需要计算每一个待分类的样本点它到全体已知样本的距离，才能求得它的K个最邻近点。目前也要改进策略，如采用其它距离比如更接近于实际的距离函数而不是欧氏距离来度量长度，建立更高效的索引机制，等等。

值得一提的是，需要把KNN与另外一个名字相似的算法——K-均值聚类（K-means，全称为k-means clustering algorithm）区分开来，均值聚类是一种无监督学习的算法，通过迭代的方法，逐次更新各聚类中心的值，直至得到最好的聚类结果。聚类结束条件可以为：1)没有（或最小数目）对象被重新分配给不同的聚类。2)没有（或最小数目）聚类中心再发生变化。3)误差平方和局部最小。

下面给出两种算法的示意图，方便理解并区分，KNN在上，K-means在下。