当前位置:   article > 正文

学习笔记:机器学习之支持向量机(一、最大间隔算法)_支持向量的间隔怎么算】

支持向量的间隔怎么算】

 活动地址:CSDN21天学习挑战赛

1 简介

        支持向量机也是一种二分类模型,它是通过在特征空间中建立间隔最大的分类器,这是有别于感知机模型的一点。

         支持向量机可分为线性可分支持向量机、线性支持向量机、非线性支持向量机。

2 函数间隔、几何间隔

2.1 函数间隔

        若超平面方程为 \large w^Tx+b=0,样本点为   \large (x_i,y_i),此时函数间隔为\large \hat{\gamma _i}=y_i(w\cdot x+b)

二分类问题,y取值1,-1,即\large w\cdot x+b> 0,y=1,w\cdot x+b<0,y=-1;

        函数间隔表示该样本点分类的确信度,因为当y=1,\large w\cdot x+b越大,距离超平面越远,越不会分错,当y=-1是亦然。

2.2几何间隔

        几何间隔为    \large \gamma _i=y_i(\frac{w^T}{||w||}x_i+\frac{b}{||w||}),很类似于二维空间点到直线的距离公式的形式,不过乘了\large y_i,   \large y_i,w x_i+b 同号时分类正确。

3 线性可分支持向量机

        目的是找到一个能正确划分数据集、几何间隔最大的超平面。仅仅满足能将数据分类正确地超平面可能有很多,但是不一定最优的,因为其他数据继续划分时,这个超平面很可有失效。所以核心思想是先找到最小的几何间隔\small (\gamma =\min_i \gamma _i),并将其最大化。(我的理解是木桶效应,当短板补上了,其他地方肯定慢问题,所以最初要先找几何间隔最小的超平面)

         现在要处理的优化问题为:

\large \max_{w,b} \gamma

 \large s.t. \qquad \qquad y_i(\frac{w^T}{||w||}x_i+\frac{b}{||w||})\geq \gamma \qquad i=1,2,...,N

先用函数间隔表示上边的优化问题:

\small \large \max_{w,b}\frac{\hat{\gamma}}{||w||}

\large s.t. \qquad \qquad y_i(w^Tx_i+bw) \geq \hat{\gamma} \qquad i=1,2,...,N

以下有助于简化问题的求解;

  • \large \hat{\gamma }=1
  • 最大化 \large \frac{1}{||w||}与最小化\large \frac{1}{2}||w||^2是等价的。

到此就得出了线性可分支持向量机算法——最大间隔算法

线性可分支持向量机算法——最大间隔算法

输入:数据集\{(x_1,y_1),(x_2,y_2),...,(x_N,y_N)\},x_i \in R^n,y_i\in \{-1,+1\};

输出:最大间隔分离超平面、分类决策函数。

最优化问题:

\min_{w,b} \quad \frac{1}{2}||w||^2 \\ s.t.\quad y_i(w \cdot x_i+b)-1 \geq 0,i=1,2...,N

求出最优解w^*,b^*,则分离超平面为w^*\cdot x+b=0,分类决策函数为f(x)=sign(w^* \cdot x+b^*)

        支持向量是与分离超平面最近的样本点,是使约束条件中不等式取等号的向量,支持向量决定着分类超平面,所以该模型叫做支持向量机。

参考

【十分钟 机器学习 系列课程】讲义(41):SVM支持向量机-逻辑回归与支持向量机

声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/你好赵伟/article/detail/605005
推荐阅读
相关标签
  

闽ICP备14008679号