机器学习入门与Python实战（四）：K近邻分类（KNN）_from sklearn.neighbors import kneighborsclassifier

目录

现实问题：“物以类聚，人以群分”

一.KNN算法概述

二.KNN算法介绍

K近邻分类模型算法步骤

距离计算方式

KNN分类图

K值选择

三.KNN特点

KNN算法的优势和劣势

知识巩固

Python实战：KNN数据分类

拓展学习

---

现实问题：“物以类聚，人以群分”

同类的东西常聚在一起，志同道合的人相聚成群

一.KNN算法概述

KNN可以说是最简单的分类算法之一，同时，它也是最常用的分类算法之一，注意KNN算法是有监督学习中的分类算法，它看起来和另一个机器学习算法Kmeans有点像（Kmeans是无监督学习算法），但却是有本质区别的。那么什么是KNN算法呢，接下来我们就来介绍介绍吧。

二.KNN算法介绍

KNN的全称是K Nearest Neighbors，意思是K个最近的邻居。通过计算新数据与训练数据之间的距离，然后选取K（K>=1）个距离最近的邻居进行分类判断（K个邻居）， 这K个邻居的多数属于某个类，就把该新数据实例分类到这个类中。

举例：判断图中圆圈属于哪个类别

• K=3，绿色圆点(50,50)的最近的3个邻居是2个红色小三角形(60,50)、(50,60)和1个蓝色小正方形(40,40)，判定其属于红色的三角形一类。
• K=5，绿色圆点的最近的5个邻居是2个红色三角形(60,50)、(50,60)和3个蓝色的正方形(40,40)、(40,80)、(30,60)，判定其属于蓝色的正方形一类。

K近邻分类模型算法步骤

（1）计算训练数据集每个样本x_i与新的样本数据x_test的距离d_(i-test)  ；

（2）将计算出的距离按照升序排列，并取出前K个距离最小的样本；

（3）统计这K个样本的标签值