K最近邻算法_k最近邻分类算法

一、原理

        K最近邻算法（K-Nearest Neighbor， KNN）是最基本的分类算法，其基本原理是：从最近的K个邻居（样本）中，选择出现次数最多的类别作为判定类别。K最近邻算法可以理解为是一个分类算法，常用于标签的预测，如性别。

实现KNN算法核心的一般思路：

1. 相似度计算——计算未知样本和每个训练样本的距离；
2. 排序——按照距离的递增关系排序；
3. 统计标签——得到距离最小的前K个样本，统计K最近邻样本中每个样本出现的次数；
4. 预测标签——选择出现频率最高的类标号作为未知样本的类标号；

        K值的选择是选择统计的样本数量，K值得选择会对KNN算法产生较大得影响。

• 如果K值较小，则意味着：只有当需要进行预测的样本和训练的样本较接近时，才能有较好的效果；
• 如果K值较大，则意味着：算法分类的近似误差增大。这时，与输入样本距离较远的样本也会对结果产生作用。

在实际上，K值一般选择较小的数，也可以选择交叉验证的方法寻找最优K值。

二、实例Python实现

利用KNN算法实现性别判定：很多时候，用户在注册的时候，没有填写性别，这个时候，可以通过KNN预测。

import numpy as np
 
class KNN:
    def __init__(self, k):
        self.k = k
 
    def createData(self):
        features = np.arr