python机器学习-k近邻（KNN）算法实例（转）_pythonknn分类实战

机器学习-k近邻（KNN）

本篇主要是自己复习和总结机器学习算法中最基础入门的——k近邻（KNN）算法，内容由网上百度与摘抄唐宇迪老师的讲义。

文章目录

k近邻介绍

k近邻参数

官网例子

k近邻实际应用

房租价格预测

k近邻介绍

——K最近邻(k-Nearest Neighbor，KNN)，k近邻算法可以应用于分类场景与回归场景，是一个理论上比较不成熟的方法，也是最简单的机器学习算法之一。该方法的思路是：如果一个样本在特征空间中的k个最相似(即特征空间中最邻近)的样本中的大多数属于某一个类别，则该样本也属于这个类别。

——用官方的话来说，所谓K近邻算法，即是给定一个训练数据集，对新的输入实例，在训练数据集中找到与该实例最邻近的K个实例（也就是上面所说的K个邻居）， 这K个实例的多数属于某个类，就把该输入实例分类到这个类中。

: 看图举例：

图形中有2种已知的图形，分别是蓝色的方块和红色的三角，绿色的未知图形。通过K近邻算法去判断未知的绿色图形是什么，取决于它周围距离最近的图形。

比如把K近邻的近邻参数设置成3(图中实线圆圈)，那么未知的绿色图形就是三角。如果近邻参数设置成5(图中虚线圆圈)，那么未知的绿色图形就是方块。

所以在K近邻算法中，设置近邻参数是会决定最后预测的结果准确性，那么怎么设置参数是多少呢？这个后面会给大家再进行介绍，本篇K近邻算法的实现主要是通过经典的机器学习库（sklearn）来完成。

K近邻在sklearn里面的API为sklearn.neighbors，在该模块下由细分了13个小的模块。本文主要使用neighbors.KNeighborsRegressor基于k-最近邻居的回归来进行说明官方教程链接

类型 描述

neighbors.BallTree BallTree用于快速广义N点问题

neighbors.DistanceMetric DistanceMetric类

neighbors.KDTree KDTree用于快速广义N点问题

neighbors.KernelDensity([bandwidth, …]) 核密度估计

neighbors.KNeighborsClassifier([…]) 实现k近邻的分类器投票

neighbors.KNeighborsRegressor([n_neighbors, …]) 基于k-最近邻居的回归

neighbors.LocalOutlierFactor([n_neighbors, …]) 使用局部异常因子（LOF）的无监督异常值检测

neighbors.RadiusNeighborsClassifier([…]) 在给定半径内的邻居之间实施投票的分类器

neighbors.RadiusNeighborsRegressor([radius, …]) 基于固定半径内的邻居的回归

neighbors.NearestCentroid([metric, …]) 最近的质心分类器

neighbors.NearestNeighbors([n_neighbors, …]) 用于实现邻居搜索的无监督学习者

neighbors.kneighbors_graph(X, n_neighbors[, …]) 计算X中点的k-邻居的（加权）图

neighbors.radius_neighbors_graph(X, radius) 计算X中各点的邻居（加权）图

k近邻参数

sklearn.neighbors.KNeighborsRegressor默认参数：

sklearn.neighbors.KNeighborsRegressor（n_neighbors = 5，weights =‘uniform’，algorithm =‘auto’，leaf_size = 30，p = 2，metric =‘minkowski’，metric_params = None，n_jobs = 1，** kwargs ）

参数说明：

n_neighbors：int, optional (default = 5)

使用默认的邻居数量kneighbors查询，默认是5

weights : str or callable

权函数用于预测,可能的值

‘uniform’ :统一的重量。权重分在每个社区都是一样的

‘distance’ :重量分距离的倒数。在这种情况下,接近邻居查询的点会有一个更大的影响力远比邻居

[callable] :一个用户定义的函数接受一个数组的距离,并返回一个数组包含权重相同的形状

algorithm : {‘auto’, ‘ball_tree’, ‘kd_tree’, ‘brute’}, optional

算法用于计算最近的邻居

‘ball_tree’将使用BallTree

‘kd_tree’将使用KDTree

'brute’将使用蛮力搜索

‘auto’将试图确定最合适的算法基于价值观传递给合适的方法

leaf_size : int, optional (default = 30)

叶大小BallTree或KDTree传递。这可能影响施工和查询的速度,以及所需的内存存储树。最优值取决于问题的性质。

metric : string or callable, default ‘minkowski’

指标用于树的距离。默认度量是闵可夫斯基,p = 2相当于欧几里得度量的标准。看到的DistanceMetric类的文档的列表可用指标。

metric_params : dict, optional (default = None)

额外的关键字参数的度量函数

n_jobs : int, optional (default = 1)

并行工作的数量的邻居搜索。如果1,那么就业人数将CPU核的数量。不影响健康的方法。

————————————————

版权声明：本文为CSDN博主「Arwen_H」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。

原文链接：https://blog.csdn.net/Arwen_H/article/details/81978432