第三章：K近邻法（主要思想、算法、三要素、构造kd树）_k近邻分类器分类的基本思想

作者：我家小花儿 | 2024-06-28 20:03:12

踩

k近邻分类器分类的基本思想

第三章：K近邻法

直观理解

概念：

K近邻法（k-nearest neighbor，k - N N）是一种基本的分类与回归方法。

主要思想：假定给定一个训练数据集T(包含N个样本)，其中实例标签已定（每个样本都包含输入和输出），当输入新的实例时（x），可以根据其最近的k个训练实例的标签，预测新实例对应的标注信息(y)。

分类问题：对新的实例，根据与之相邻的k个训练实例的类别，通过多数表决等方式进行预测。（随大溜）

回归问题：对新的实例，根据与之相邻的k个训练实例的标签，通过均值计算进行预测。

在这里插入图片描述

K近邻法算法

在这里插入图片描述

距离计算公式不固定，

k：与x距离最近的k个点

K：输出空间的K个类别

模型：

k - N N不具有显性的学习过程，实际上利用训练数据集对特征向量空间进行划分，以其作为分类的“模型”。

K近邻法的三要素

距离度量

$L_{p}$ 距离

特征空间 $\mathcal{X}$ 假设为 $\mathrm{R}^{n}, \forall x_{i}, x_{j} \in \mathcal{X}, x_{i}=\left(x_{i}^{(1)}, x_{i}^{(2)}, \cdots, x_{i}^{(n)}\right)^{T}, x_{j}=$ $\left(x_{j}^{(1)}, x_{j}^{(2)}, \cdots, x_{j}^{(n)}\right)^{T}$

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/我家小花儿/article/detail/767117