一文速学数模-分类模型(三)k近邻算法（KNN）详解及python实现和应用_knn数学建模

目录

一、KNN算法概述

二、距离度量

三、实现算法

四、实战练习

1.转换数据

2.分析数据

3.数据归一化

4.测试算法

5.使用算法

总结

---

一、KNN算法概述

工作原理：存在一个样本数据集合，也称作训练样本集，并且样本集中每个数据都纯在标签，就每一个样本都有一个标签与之对应。输入没带标签的新数据之后，将新数据的每个特征与样本集中数据对应的特征进行比较，然后算法提取样本集中特征最相似数据（最近邻）的分类标签，然后给新数据该标签。我们只选择样本数据集中前k个最相似的数据，最后选择k个最相似数据中出现次数最多的分类，作为新数据的分类。

光看文字理解显然不够深刻，来看看图片。

假定新加入了一个绿正方形，现在我们要判定它是属于三角形还是属于圆形。首先根据先看距离正方形最近的图形有哪些，根据它们离正方形的距离进行排序，再根据确定的k值进行划分，选出离目标最近的k个图形，然后判定在k个里面哪个图形占多数，占多数的则把该目标归为哪一类。

这样应该很好理解，也说明了KNN算法的结果很大程度取决于K的选择，其中K通常是不大于20的整数。KNN算法中，所选择的邻居都是已经正确分类的对象。该方法在定类决策上只依据最邻近的一个或者几个样本的类别来决定待分样本所属的类别。

二、距离度