K-近邻算法（k-NN）的原理及python代码案例实现_knn算法的原理和步骤

1 K-NN算法的原理

1.1 K-NN概念

       K Nearest Neighbor算法⼜叫KNN算法， 这个算法是机器学习⾥⾯⼀个⽐较经典的算法， 总体来说KNN算法是相对⽐
较容易理解的算法。

定义：
        如果⼀个样本在特征空间中的k个最相似(即特征空间中最邻近)的样本中的大多数属于某⼀个类别， 则该样本也属于这

个类别。（起源：KNN最早是由Cover和Hart提出的一种分类算法）；俗话就是：根据“邻居”来推断出你的类别。

1.2 基本流程

1)计算已知类别数据集中的点与当前点之间的距离2)按距离递增次序排序
3)选取与当前点距离最小的k个点
4)统计前k个点所在的类别出现的频率
5)返回前k个点出现频率最高的类别作为当前点的预测分类

什么意思呢？看下这张图

根据上来面的流程来讲：

1.给定了红色和蓝色的训练样本，绿色为测试样本
2.计算绿色点到其他点的距离
3.选取离绿点最近的k个点
4.选取k个点中，同种颜色最多的类。例如：k=1时，k个点全是蓝色，那预测结果就是Class 1；k=3时，k个点中两个红色一个蓝色，那预测结果就是Class 2

举个实例：电影类型分析

假设我们现在有几部电影，如下图所示：