当前位置:   article > 正文

SVM理解与参数选择(kernel和C)_svm高斯核函数参数选择

svm高斯核函数参数选择

大部分资料都在讲SVM的kernel等看似高大上的东西,却忽略了SVM的模型表达式这一关键,造成大家看SVM资料觉得云里雾里的感觉。
本文舍末求本,从SVM的模型理解开始,带大家理解SVM的基本思想,理解各个参数对SVM的性能影响。

直观理解SVM

以二维平面上的分类为例,下面给出了不同的分类可能,哪个才是最优的分类呢?

这里写图片描述

可以看出第一种分类方法是最好的,为什么呢?因为它的分类平面到两类边界的距离(Margin)最大。

所以SVM也叫Large Margin分类器。

SVM的模型表达式

首先,线性模型的表达式为

hθ(x)=θ0+θ1x1+θ2x2+...+θnxn
hθ(x)=θ0+θ1x1+θ2x2+...+θnxn
[1]

其中

  • x1x1~xnxn就是n个特征,作为模型的输入
  • θ0θ0~θnθn,就是线性模型的n+1个参数

把线性模型表达式中的xixi替换成fifi,就得到了SVM模型的表达式

hθ(x)=θ0+θ1f1+θ2f2+...+θnfn
hθ(x)=θ0+θ1f1+θ2f2+...+θnfn
[2]

其中
* fifixixi核函数,也就是xixi的非线性多项式项。例如 f1=x1x2f1=x1x2

可见
* SVM和线性回归是非常类似的
* 由于有了非线性多项式项,SVM对非线性的拟合能力很强,但已被噪声影响(拟合能力过强)

理解了SVM的模型,也就不觉得它有多复杂了。

SVM与线性回归的代价函数有很大的不同。

SVM的Cost Function(代价函数)

下面对比SVM与Logistic回归(把线性回归的结果作为Logistic函数的输入)的代价函数区别。(代价函数的物理含义就是预测值与真实值之间的误差)

Logistic回归的代价函数

J(θ)=(ylog(h(x))+(1y)log(1h(x)))
J(θ)=(ylog(h(x))+(1y)log(1h(x)))

h(x)h(x)替换为Logistic函数,就得到其代价函数为:

J(θ)=(ylog(11+eθTx)+(1y)log(111+eθTx))
J(θ)=(ylog(11+eθTx)+(1y)log(111+eθTx))

SVM的代价函数

SVM的代价函数与Logistic回归的代价函数比较接近。下图中的蓝色曲线是Logistic归回代价函数中的两个表达式。

这里写图片描述
红色曲线是逼近蓝色函数的函数。

用cost1(z)和cost0(z)代替h(x),可得SVM的代价函数

J(θ)=Cm1(y(i)cost1(θTx(i))+(1y(i))cost0(θTx(i)))+12n1(θj2)

其中

  • C类似于正则化中1λ的作用。C越大,拟合非线性的能力越强。

可见,SVM的代价函数与Logistic回归的代价函数也是很类似的。

核函数(Kernel)

SVM模型表达式中的fixi的核函数。核函数能提高模型的Feature维度(低维到高维),从而使SVM具有较好的非线性拟合能力。

核函数效果的直观理解

假设一个SVM模型的表达式如下$$

h(x)=θ0+θ1f1+θ2f2+θ3f3

模型的输入x是二维的(用x1和x2表示),先手工标记三个点

这里写图片描述
对每一个模型的输入x,另核函数为x与三个点的相似度:

f1=similarity(x,l(1))=exp(xl(1)22σ2)

f2=similarity(x,l(2))=exp(xl(2)22σ2)

f3=similarity(x,l(3))=exp(xl(3)22σ2)

l(1)=[3;5]σ=1,则f1=exp((x13)2(x25)2)。这是一个三维曲面。

核函数将二维的x提高到了三维空间。

高斯核

上面的相似度函数,就是高斯核,其定义为

fi=similarity(x,l(i))=exp(xl(i)22σ2)

由其定义可知,如果x与手工选取的点l(i)很接近,则fi=1。否则fi=0

且高斯核函数的最大值为1,最小值为0。

SVM的参数

综上,SVM最重要的参数有2个:C与核函数中的σ

  • C类似于正则化中1λ的作用。C越大,拟合非线性的能力越强。
    • large C: High Variance
    • small C: High Bias

σ的大小对核函数形状的影响关系见下图

这里写图片描述

  • σ越大,f越平滑,非线性效能越小,对噪声越不敏感
    • large σ: High Bias
    • small σ: High Variance

注意

使用SVM时,有两个点要注意:

  • 若使用核函数,一定要对Feature做Feature Scaling(Normalization)
  • 若训练集m太小,但Feature数量n很大,则训练数据不足以拟合复杂的非线性模型,这种情况下只能用linear-kernel(就是fi=xi)不能用高斯核

参考

声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/花生_TL007/article/detail/142910
推荐阅读
相关标签
  

闽ICP备14008679号