秋刀鱼在做梦

这个屌丝很懒，什么也没留下！

热门标签

超详细支持向量机知识点，面试官会问的都在这里了

作者：秋刀鱼在做梦 | 2024-06-20 15:33:06

踩

在硬间隔支持向量机中,落在最大间隔边界上的样本就是支持向量 ( ) a. 正确 b. 错

640?wx_fmt=jpeg

（图片付费下载自视觉中国）

作者 | 韦伟

来源 | 知乎

导语：持续准备面试中，准备的过程中，慢慢发现，如果死记硬背的话很难，可当推导一遍并且细细研究里面的缘由的话，面试起来应该什么都不怕，问什么问题都可以由公式推导得到结论，不管问什么，公式摆在那里，影响这个公式的变量就在那，你问什么我答什么，共勉！

一. 简单概括一下SVM

SVM 是一种二类分类模型。它的基本思想是在特征空间中寻找间隔最大的分离超平面使数据得到高效的二分类，具体来讲，有三种情况（不加核函数的话就是个线性模型，加了之后才会升级为一个非线性模型）：

当训练样本线性可分时，通过硬间隔最大化，学习一个线性分类器，即线性可分支持向量机；
当训练数据近似线性可分时，引入松弛变量，通过软间隔最大化，学习一个线性分类器，即线性支持向量机；
当训练数据线性不可分时，通过使用核技巧及软间隔最大化，学习非线性支持向量机。

二. SVM 为什么采用间隔最大化（与感知机的区别）：

当训练数据线性可分时，存在无穷个分离超平面可以将两类数据正确分开。感知机利用误分类最小策略，求得分离超平面，不过此时的解有无穷多个。线性可分支持向量机利用间隔最大化求得最优分离超平面，这时，解是唯一的。另一方面，此时的分隔超平面所产生的分类结果是最鲁棒的，对未知实例的泛化能力最强。

三. SVM的目标（硬间隔）：

有两个目标：第一个是使间隔最大化，第二个是使样本正确分类，由此推出目标函数：

稍微解释一下，w是超平面参数，目标一是从点到面的距离公式化简来的，具体不展开，目标二就相当于感知机，只是把大于等于0进行缩放变成了大于等于1，为了后面的推导方便。有了两个目标，写在一起，就变成了svm的终极目标：

640?wx_fmt=png

四. 求解目标（硬间隔）：

从上面的公式看出，这是一个有约束条件的最优化问题，用拉格朗日函数来解决。

上式的拉格朗日函数为：

640?wx_fmt=png

在满足Slater定理的时候，且过程满足KKT条件的时候，原问题转换成对偶问题：

640?wx_fmt=png

先求内部最小值，对w和b求偏导并令其等于0可得：

将其代入到上式中去可得到

此时需要求解

，利用SMO（序列最小优化）算法：

SMO算法的基本思路是每次选择两个变量 640?wx_fmt=png

和

，选取的两个变量所对应的样本之间间隔要尽可能大，因为这样更新会带给目标函数值更大的变化。 SMO算法之所以高效，是因为仅优化两个参数的过程实际上仅有一个约束条件，其中一个可由另一个表示，这样的二次规划问题具有闭式解。

五. 软间隔：

不管直接在原特征空间，还是在映射的高维空间，我们都假设样本是线性可分的。虽然理论上我们总能找到一个高维映射使数据线性可分，但在实际任务中，寻找一个合适的核函数核很困难。此外，由于数据通常有噪声存在，一味追求数据线性可分可能会使模型陷入过拟合，因此，我们放宽对样本的要求，允许少量样本分类错误。这样的想法就意味着对目标函数的改变，之前推导的目标函数里不允许任何错误，并且让间隔最大，现在给之前的目标函数加上一个误差，就相当于允许原先的目标出错，引入松弛变量 640?wx_fmt=png

，公式变为：

640?wx_fmt=png

那么这个松弛变量怎么计算呢，最开始试图用0，1损失去计算，但0，1损失函数并不连续，求最值时求导的时候不好求，所以引入合页损失（hinge loss）：

640?wx_fmt=png

函数图张这样：

理解起来就是，原先制约条件是保证所有样本分类正确 640?wx_fmt=png

，现在出现错误的时候，一定是这个式子不被满足了，即 640?wx_fmt=svg

，衡量一下错了多少呢？因为左边一定小于1，那就跟1比较，因为1是边界，所以用1减去 640?wx_fmt=png

来衡量错误了多少，所以目标变为（正确分类的话损失为0，错误的话付出代价）：

640?wx_fmt=png

但这个代价需要一个控制的因子，引入C>0，惩罚参数，即：

可以想象，C越大说明把错误放的越大，说明对错误的容忍度就小，反之亦然。当C无穷大时，就变成一点错误都不能容忍，即变成硬间隔。实际应用时我们要合理选取C，C越小越容易欠拟合，C越大越容易过拟合。

所以软间隔的目标函数为：

640?wx_fmt=png

其中：

640?wx_fmt=png

六. 软间隔求解：

与硬间隔类似：

上式的拉格朗日函数为：

640?wx_fmt=png

在满足Slater定理的时候，且过程满足KKT条件的时候，原问题转换成对偶问题：

640?wx_fmt=png

先求内部最小值，对w,b和 640?wx_fmt=png

求偏导并令其等于0可得：

640?wx_fmt=png

将其代入到上式中去可得到，注意 640?wx_fmt=png

被消掉了：

640?wx_fmt=png

此时需要求解

，同样利用SMO（序列最小优化）算法。

七. 核函数：

为什么要引入核函数：

当样本在原始空间线性不可分时，可将样本从原始空间映射到一个更高维的特征空间，使得样本在这个特征空间内线性可分。而引入这样的映射后，所要求解的对偶问题的求解中，无需求解真正的映射函数，而只需要知道其核函数。核函数的定义：K(x,y)=<ϕ(x),ϕ(y)>，即在特征空间的内积等于它们在原始样本空间中通过核函数 K 计算的结果。一方面数据变成了高维空间中线性可分的数据，另一方面不需要求解具体的映射函数，只需要给定具体的核函数即可，这样使得求解的难度大大降低。

用自己的话说就是，在SVM不论是硬间隔还是软间隔在计算过程中，都有X转置点积X，若X的维度低一点还好算，但当我们想把X从低维映射到高维的时候（让数据变得线性可分时），这一步计算很困难，等于说在计算时，需要先计算把X映射到高维的的ϕ(x)，再计算ϕ(x1)和ϕ(x2)的点积，这一步计算起来开销很大，难度也很大，此时引入核函数，这两步的计算便成了一步计算，即只需把两个x带入核函数，计算核函数，举个列子一目了然（图片来自：从零推导支持向量机）：