k近邻算法理论（一）_近邻算法的基本思想

时间 ：2014.07.05

地点：基地

-----------------------------------------------------------------------------------

一、简述

  K近邻法（k-nearest neighbor，kNN）是一种基本分类与回归方法。k近邻的输入为实例的特征向量，对应特征空间中的点，输出为实例的类别。k近邻算法的基本思想是：给定训练数据集，实例类别已定，在对目标实例进行分类时，我们根据与目标实例k个最近邻居的训练实例的类别，通过多数表决的方式进行决定。也就是说，k近邻算法实际上是利用了训练数据集对特征向量空间进行了划分，并作为其分类的模型。这样k近邻算法涉及三个最基本的元素：

1.k值的选择，即取多大的k最适合于分类

2.距离的度量，即怎么样一个距离计算判断是否为目标实例的邻居

3.分类决策

-----------------------------------------------------------------------------------

二、k近邻算法

输入：给定训练数据集