支持向量机_决策边界边缘大小具有什么意义

支持向量机：Support Vector Machines, SVM

提纲：
线性分类举例
间隔与支持向量
对偶问题
线性不可分SVM
核方法

1. 线性分类举例
（1）给定训练数据集，线性分类器最基本的想法是：在样本空间中寻找一个超平面，将不同类别的样本分开；而且，他的方法不止一两种，可以有很多很多的分类方法。eg：

能将训练样本分开的超平面可能有很多，分类器必须从这些超平面中选择哪个来表示它的决策边界？为了更好地解释不同的超平面对泛化误差的影响，考虑两个超平面B1和B2

每个超平面Bi都对应着一对平行的超平面：bi1和bi2，它们之间的间隔称为超平面的边缘(margin)。

图中，超平面B1的边缘明显大于B2的边缘。因此，在这个例子中， B1就是训练样本的最大边缘超平面
2. 间隔与支持向量

直觉上，决策边界的边缘较小，决策边界任何轻微的扰动都可能对分类结果产生较大的影响。也就是说，具有较大边缘的决策边界比那些具有较小边缘的决策边界具有更好的泛化误差。

需要设计最大化决策边界的边缘的线性分类器，以确保最坏情况下的泛化误差最小。线性支持向量机(linear SVM) 就是这样的分类器。

3. 对偶问题

由于对偶优化问题是一个二次规划问题，可使用通用的二次规划算法来求解；然而，该问题的规模正比于训练样本的数目，对于大型数据集，会造成很大的开销。为了避开这个障碍，人们通过利用问题本身的特性，提出了很多高效的算法，比如：SMO序列最小化优化算法 (Sequential MinimalOptimization) 就是其中一个著名的代表

上面都是近似线性可分SVM，接下来我们将接触线性不可分

4. 线性不可分SVM

5. 核方法

核函数的选择成为非线性SVM的最大变数，若核函数选择不合适，就意味着将样本映射到了一个不合适的特征空间，从而很可能导致非线性SVM性能不佳。