CSDN机器学习笔记十二 k-近邻算法实现手写识别系统_手写机器学习算法的blog

本文主要内容来自《机器学习实战》

示例：手写识别系统

为了简单起见，这里构造的系统只能识别数字0到9。需要识别的数字要使用图形处理软件，处理成具有相同的色彩和大小：32*32 黑白图像。为了方便理解，这里将图像转换成文本格式。

1. 流程

1. 收集数据：提供文本文件
2. 准备数据：编写函数img2vector()，将图像格式转换为分类器使用的向量格式
3. 分析数据：在Python命令提示符中检查数据，确保它符合要求
4. 训练算法：此步骤不适用于k-近邻算法
5. 测试算法：编写函数使用提供的部分数据集作为测试样本，测试样本与非测试样本的区别在于测试样本是已经完成分类的数据，如果预测分类与实际类别不同，则标记为一个错误
6. 使用算法：

2. 准备数据

为了使用上节例子的分类器，必须将图像格式化处理为一个向量。我们将把一个32x32的二进制图像矩阵转换为1x1024的向量，这样就能使用前面的分类器处理数字图像信息了。
编写一段函数img2vector，将图像转换为向量：该函数创建1x1024的NumPy数组，然后打开给定的文件，循环读出文件的前32行，并将每行的头32个字符值存储在NumPy数组中，最后返回数组。

from os import listdir
from numpy import *
import operator

def img2vector(filename):
    returnVect = zeros((1,1024))
    fr = open(filename)
    for i in range(32):
        lineStr = fr.readline()
        for j in range(32):
            returnVect[0,32*i+j] = int(lineStr[j])
    return  returnVect
1
2
3
4
5
6
7
8
9
10
11
12

测试：

testVector = img2vector('testDigits/0_13.txt')
testVector
1
2

手写数字识别系统的测试代码：

def classify0(inX,dataSet,labels,k):
    dataSetSize = dataSet.shape[0]
    diffMat = tile(inX,(dataSetSize,1)) - dataSet
    sqDiffMat = diffMat**2
    sqDistances = sqDiffMat.sum(axis=1)
    distances = sqDistances ** 0.5
    sortedDistIndicies = distances.argsort()
    classCount = {}
    for i in range(k):
        voteIlabel = labels[sortedDistIndicies[i]]
        classCount[voteIlabel] = classCount.get(voteIlabel,0)+1
    sortedClassCount = sorted(classCount.items(), key=operator.itemgetter(1),reverse=True)
    return sortedClassCount[0][0]
def handwritingClassTest():
    hwLabels = []
    trainingFileList = listdir('trainingDigits')
    m = len(trainingFileList)
    trainingMat = zeros((m,1024))
    for i in range(m):
        fileNameStr = trainingFileList[i]
        fileStr = fileNameStr.split('.')[0]
        classNumStr = int(fileStr.split('_')[0])
        hwLabels.append(classNumStr)
        trainingMat[i,:] = img2vector('trainingDigits/%s' % fileNameStr)
    testFileList = listdir('testDigits')
    errorCount = 0.0
    mTest = len(testFileList)
    for i in range(mTest):
        fileNameStr = testFileList[i]
        fileStr = fileNameStr.split('.')[0]
        classNumStr = int(fileStr.split('_')[0])
        vectorUnderTest= img2vector('testDigits/%s' % fileNameStr)
        classifierResult = classify0(vectorUnderTest, trainingMat,hwLabels,3)
        print ("the classifier came back with :%d,the real answer is :%d" %(classifierResult,classNumStr) )
        if(classifierResult != classNumStr) : errorCount = errorCount + 1.0
    print ("\nthe total number of errors is : %d" %errorCount)
    print ("\tthe total error rate is :%f" %(errorCount/float(mTest)))

handwritingClassTest()
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39

3. 测试算法

将数据处理成分类器可以识别的格式后，将数据输入到分类器，检测分类器的执行效果。

def handwritingClassTest():
    hwLabels = []
    trainingFileList = listdir('trainingDigits')
    m = ln(trainingFileList)
    trainingMat = zeros((m,1024))
    for i in range(m):
        fileNameStr = trainingFileList[i]
        fileStr = fileNameStr.split('.')[0]
        classNumStr = in(fileStr.split('_')[0])
        hwLabels.append(classNumStr)
        trainingMat[i,:] = img2vector('trainingDigits/%s' % fileNameStr)
    testFileList = listdir('testDigits')
    errorCount = 0.0
    mTest = len(testFileList)
    for i in range(mTest):
        fileNameStr = testFileList[i]
        fileStr = fileNameStr.split('.')[0]
        classNumStr = int(fileStr.split('_')[0])
        vectorUnderTest= img2vector('testDigits/%s' % fileNameStr)
        classifierResult = classify0(vectorUnderTest, trainingMat,hwLabels,3)
        print ("the classifier came back with :%d,the real answer is :%d" % (classifierResult,classNumStr)
        if(classifierResult != classNumStr): errorCount += 1.0
    print ("\nthe total number of errors is : %d" % errorCount)
    print ("\tthe total error rate is :%f" %(errorCount/float(mTest))
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24

程序中将trainingDigits目录中的文件存储在列表中，然后中以得到目录中有多少文件，并将其存储在变量m中。
接着，代码创建一个m行1024列的训练矩阵，该矩阵的每行数据存储一个图像。我们可以从文件名中解析出分类数字。这要求文件要按规则命名。
文件中的值已经在0和1之间，所以是不需要autoNorm()函数的。
运行测试：

kNN识别手写数字数据集，错误率为1.1%。改变k的值、修改函数handwriting-ClassTest随机选取训练样本、改变训练样本的数目，都会对k-近邻算法的错误率产生影响。

这个算法的执行效率并不高。k决策树是对k-近邻算法的优化版，可以节省大量的计算开销。

k-近邻算法 基于实例的学习，使用算法时必须有接近实际数据的训练样本数据。k-近邻算法必须保存全部数据集，如果训练数据集很大，必须使用大量的存储空间。此外，计算可能非常耗时。
k-近邻算法的另一个缺陷是无法给出任何数据的基础结构信息。