机器学习实战之K近邻（KNN）-python/sklearn实现_python使用sklearn库实现k近邻算法

目录

简单理论介绍

kNN算法之约会网站配对（Python）

scikit-learn实现

---

简单理论介绍

K最近邻（k-Nearest Neighbor，KNN）分类算法应该是最简单的机器学习算法了。它采用测量不同特征值之间的距离方法进行分类。它的思想很简单：与它附近的k个样本比较，与它最相似（即特征空间中最邻近）的这K个样本中，大多数属于某一个类别，则该样本就属于这个类别。

对于两个n维向量x和y，距离度量一般用

欧式距离：

或者曼哈顿距离：

KNN的实现有两个方式：一种是暴力实现，将带分类样本与所有的数据样本计算距离度量，然后排序，选择排序结果的前K个，这K个距离最近的样本中，类别最多的就是待分类样本的类别。KNN的升级版本为KD树划分。

kNN算法之约会网站配对（Python）

第一步：读取数据

这里先看一下这里的数据，它是一个文本文件，数据长这个样子，最后一列是标签，前面是特征数据。

飞机里程数；一周吃的冰淇淋；打游戏占的时间

# 导入程序所需要的模块
import numpy as np
import operator
 
#定义数据集导入函数
def file2matrix(filename):
    love_dictionary = {'largeDoses':3, 'smallDoses':2, 'didntLike':1}    # 三个类别
    fr = open(filename)    # 打开文件
    arrayOLines = fr.readlines()    # 逐行打开
    numberOfLines = len(arrayOLines)            #得到文件的行数
    returnMat = np.zeros((numberOfLines, 3))        #初始化特征矩阵
    classLabelVector = []                       #初始化输出标签向量
    index = 0
    for line in arrayOLines:
        line = line.strip()    # 删去字符串首部尾部空字符
        listFromLine = line.split('\t')    # 按'\t'对字符串进行分割，listFromLine 是列表
        returnMat[index, :] = listFromLine[0:3]    # listFromLine的0,1,2元素是特征，赋值给returnMat的当前行
        if(listFromLine[-1].isdigit()):    # 如果listFromLine最后一个元素是数字
            classLabelVector.append(int(listFromLine[-1]))    # 直接赋值给classLabelVector
        else:    # 如果listFromLine最后一个元素不是数字，而是字符串
            classLabelVector.append(love_dictionary.get(listFromLine[-1]))    # 根据字典love_dictionary转化为数字
        index += 1
    return returnMat, classLabelVector    # 返回的类别标签classLabelVector是1,2,3
 

第二步：数据预处理

我们看数据，前面三列是特征数据，后面一列是标签，可以看到每一列特征数据的量纲不同（数值大小），把每一列特征数据划分到统一的范围（[0,1]之间}）：（虽然KNN对于异常点不敏感，但是我们一般处理数值型数据做一个归一化或者标准化是常用手段）

def autoNorm(dataSet):
    minVals = dataSet.min(0)
    maxVals = dataSet.max(0)
    ranges = maxVals - minVals
    normDataSet = np.zeros(np.shape(dataSet))
    m = dataSet.shape[0]
    normDataSet = dataSet - np.tile(minVals, (m, 1))
    normDataSet = normDataSet/np.tile(ranges, (m, 1))   # normDataSet值被限定在[0,1]之间
    return normDataSet, ranges, minVals

第三步：定义模型

def classify0(inX, dataSet, labels, k):    # inX是测试集，dataSet是训练集，lebels是训练样本标签，k是取的最近邻个数
    dataSetSize = dataSet.shape[0]    # 训练样本个数
    diffMat = np.tile(inX, (dataSetSize, 1)) - dataSet    # np.tile: 重复n次
    sqDiffMat = diffMat**2
    sqDistances = sqDiffMat.sum(axis=1)
    distances = sqDistances**0.5    # distance是inX与dataSet的欧氏距离
    sortedDistIndicies = distances.argsort()    # 返回排序从小到达的索引位置
    classCount = {}   # 字典存储k近邻不同label出现的次数
    for i in range(k):
        voteIlabel = labels[sortedDistIndicies[i]]
        classCount[voteIlabel] = classCount.get(voteIlabel, 0) + 1    # 对应label加1，classCount中若无此key，则默认为0
    sortedClassCount = sorted(classCount.items(), key=operator.itemgetter(1), reverse=True)    # operator.itemgetter 获取对象的哪个维度的数据
    return sortedClassCount[0][0]    # 返回k近邻中所属类别最多的哪一类

第四步： 测试算法

def datingClassTest():
    hoRatio = 0.10      #整个数据集的10%用来测试
    datingDataMat, datingLabels = file2matrix('datingTestSet2.txt')       #导入数据集
    normMat, ranges, minVals = autoNorm(datingDataMat)    # 所有特征归一化
    m = normMat.shape[0]    # 样本个数
    numTestVecs = int(m*hoRatio)    # 测试样本个数
    errorCount = 0.0
    for i in range(numTestVecs):
        classifierResult = classify0(normMat[i, :], normMat[numTestVecs:m, :], datingLabels[numTestVecs:m], 3)
        print("the classifier came back with: %d, the real answer is: %d" % (classifierResult, datingLabels[i]))
        if (classifierResult != datingLabels[i]): errorCount += 1.0
    print("the total error rate is: %f" % (errorCount / float(numTestVecs)))    # 打印错误率
    print(errorCount)    # 打印错误个数

第五步：可用系统（选做）

根据用户的输入，在线判断匹配的类别

def classifyPerson():
    resultList = ['not at all', 'in small doses', 'in large doses']
    percentTats = float(input(\
                                  "percentage of time spent playing video games?"))
    ffMiles = float(input("frequent flier miles earned per year?"))
    iceCream = float(input("liters of ice cream consumed per year?"))
    datingDataMat, datingLabels = file2matrix('datingTestSet2.txt')
    normMat, ranges, minVals = autoNorm(datingDataMat)
    inArr = np.array([ffMiles, percentTats, iceCream, ])
    classifierResult = classify0((inArr - \
                                  minVals)/ranges, normMat, datingLabels, 3)
    print("You will probably like this person: %s" % resultList[classifierResult - 1])

 

scikit-learn实现

简单实例：

还是用约会网站数据做练习，读取数据和数据处理沿用上面的函数，模型实现用sklearn。

from sklearn import neighbors #导包
import numpy as np
import operator
 
filename = 'datingTestSet2.txt'
X,Y = file2matrix(filename)  #导入数据
clf = neighbors.KNeighborsClassifier(n_neighbors = 3 , weights='distance') #实例化对象
clf.fit(X, Y) #拟合数据
clf.predict(X[:10]) #预测

参数列表：

==============================参考资料

参考资料：《机器学习实战》--KNN 代码和数据：http://www.manning.com/MachineLearninginAction

sklearn文档：

https://scikitlearn.org/stable/modules/generated/sklearn.neighbors.KNeighborsClassifier.html#sklearn.neighbors.KNeighborsClassifier

极力推荐资源：深度之眼机器学习训练营 和 西瓜书训练营