函数间隔：对于给定的超平面 $w\cdot x+b=0$ ，样本点 $(x_i, y_i)$ 的函数间隔定义为 $\hat{\gamma} = y_i(w \cdot x_i + b)$ 。函数间隔反映了样本点与超平面的相对位置。
几何间隔：几何间隔是函数间隔归一化后的结果，定义为 $\gamma = \frac{y_i(w' \cdot x_i + b)}{||w||}$ 。几何间隔表示样本点到超平面的实际距离。

3 最大间隔与支持向量

最大间隔分类器：SVM 的目标是找到能够最大化几何间隔的超平面，即使决策边界尽可能远离所有训练样本。最大间隔分类器不仅能有效分类训练数据，还能提高对新数据的预测准确性。
支持向量：支持向量是指那些位于决策边界附近的样本点，即满足 $y_i(w \cdot x_i + b) = 1$ 的点。这些点直接影响超平面的定位和方向，它们是 SVM 模型中最重要的样本点。

4 最优化问题

4.1 原始问题

SVM 的核心是一个优化问题，其目标是最大化几何间隔，这可以通过最小化 $\frac{1}{2} ||w||^2$ 来实现。该优化问题的约束条件是所有样本点必须满足 $y_i(w \cdot x_i + b) \geq 1$ 。

4.2 对偶问题

通过拉格朗日乘子法，可以将原始优化问题转化为对偶问题，从而简化求解过程。对偶问题的形式为：

$\max_{\alpha} \left( \min_{w, b} L(w, b, \alpha) \right)$

其中，拉格朗日函数 $L(w, b, \alpha)$ 定义为：

$L(w, b, \alpha) = \frac{1}{2} ||w||^2 - \sum \alpha_i y_i (w \cdot x_i + b)$

对偶问题通过求解拉格朗日乘子 $\alpha_i$ 来获得最优解。

5 核函数

5.1 引入核函数

在处理非线性可分的数据时，SVM 引入了核函数的概念。核函数允许我们在高维空间中进行线性分类，而无需显式地进行高维映射，从而简化计算。

5.2 常用核函数

线性核： $K(x_i, x_j) = x_i \cdot x_j$ 。适用于线性可分的数据。
多项式核： $K(x_i, x_j) = (x_i \cdot x_j + c)^d$ 。可以处理非线性关系，参数 $c$ 和 $d$ 控制多项式的复杂度。
高斯核（径向基函数）： $K(x_i, x_j) = \exp\left(-\frac{||x_i - x_j||^2}{2\sigma^2}\right)$ 。适用于高度非线性的数据，参数 $\sigma$ 控制函数的宽度。
Sigmoid 核： $K(x_i, x_j) = \tanh(k x_i \cdot x_j + c)$ 。类似于神经网络中的激活函数。

6 软间隔与支持向量回归

6.1 软间隔

在实际应用中，数据集可能包含噪声和异常值，导致严格的间隔约束难以满足。为此，SVM 引入了软间隔的概念，允许一些数据点违反间隔约束，从而提高模型的鲁棒性。

6.2 优化问题

软间隔 SVM 的优化问题引入了松弛变量 $\xi_i$ ，目标函数变为：

$\min_{w, b, \xi} \left( \frac{1}{2} ||w||^2 + C \sum \xi_i \right)$

其中， $C$ 是一个常数，用于平衡间隔的大小和违反约束的程度。优化问题的约束条件变为 $y_i(w \cdot x_i + b) \geq 1 - \xi_i$ ，且 $\xi_i \geq 0$ 。

7 SMO 算法

序列最小优化算法（Sequential Minimal Optimization, SMO）是一种用于高效求解 SVM 对偶问题的算法。SMO 通过每次仅优化两个拉格朗日乘子，大大简化了计算复杂度。它不仅能加速求解过程，还能有效处理大规模数据集。

8 总结

支持向量机 (SVM) 是一种用于分类和回归分析的监督学习算法，擅长处理小样本、非线性和高维数据问题。SVM 通过最大化类间间隔寻找最佳分类超平面，并引入核函数来处理非线性数据。其优化问题包括原始问题和对偶问题，通过拉格朗日乘子法简化求解。软间隔的引入提高了模型的鲁棒性，而序列最小优化 (SMO) 算法则有效地简化了对偶问题的求解过程，适用于大规模数据集。

参考文献

[1] 【吃瓜教程】《机器学习公式详解》（南瓜书）与西瓜书公式推导
[2] 周志华.机器学习[M].清华大学出版社,2016.
[3] 谢文睿秦州贾彬彬.机器学习公式详解第2版[M].人民邮电出版社,2023.

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/从前慢现在也慢/article/detail/801928

机器学习入门（吃瓜第五章 神经网络）

1 支持向量机概述

2 基本概念

2.1 间隔（Margin）

2.2 函数间隔与几何间隔