赞
踩
训练样本集。分类学习的基本思想是在训练集D所在的样本空间找到一个划分超平面,将不同类别的样本划分开。在样本空间中,划分超平面可以通过如下线性方程来描述:
(1)
原因:
在划分超平面线性方程中,为法向量,决定了超平面的方向,b为位移项,决定了超平面与原点之间的距离。显然,一个划分超平面可以通过法向量w和位移项b确定,可以记作(w, b)。
但是能将训练样本分开的超平面可能有很多,如下图所示,存在多个划分超平面可以将两类训练样本分开,应该找哪一个呢?
直观得看,应该去找位于两类训练样本“正中间”的划分超平面,即图中红色的那个,因为该划分超平面对训练样本可能存在的局部扰动的“容忍”性最好。例如,由于训练集的局限性或噪声的影响,训练集外的样本可能会比上图中的训练样本更接近分割界,这将使许多划分超平面出现错误,而红色的超平面受影响最小。换言之,这个划分超平面所产生的分类结果是最“鲁棒“的,对未见样本的泛化性最强。
接下来,我们将上述想要“找到泛化性最好的超平面“的思想用数学的形式表示出来。
对于划分超平面(w, b)和样本空间中的任意点x,样本空间中任意点x到划分超平面(w, b)的距离为
(2)
如果假设超平面(w, b)能将训练样本正确分类,那么对于,若,就有;若,则有。这两个不等式可以构成一个约束,但如果想要“找到泛化性最强”的超平面,这一约束是不够的,因为该约束只能保证找到正确划分的超平面,而无法表示出“所得超平面泛化性最强”的要求。
因此对这两个不等式做一些修改,令
(3)
该不等式的推导稍后给出。我们先来看这个约束,如下图所示,
图中用圆圈圈起来的样本点是距离超平面最近的几个训练样本点,这些样本点使得(3)式的等号成立,它们被称为“支持向量”,两个异类支持向量到超平面的距离之和为,
(4)
称为“间隔”。接下来给出(3)式推导过程和间隔距离(4)的推导过程。
(3)式推导过程:
式(4)间隔距离推导过程:
我们希望能找到泛化性最强的划分超平面,就等价于希望能找到“间隔最大”的划分超平面,因为显然间隔越大,对误差样本的容错性就越大,泛化性就越强。也就是说,要找到能满足式(3)约束的参数w和b,使得γ最大,即:
(5)
将最大化中的分式倒转,转为最小化:
(6)
这就是支持向量机的基本型。
我们希望求解式(6)得到大间隔划分超平面的模型参数w和b,就能得到划分超平面所对应的模型
观察目标函数式(6),这是一个在由不等式约束规定的可行区域内求最小值问题。一般来说,最优化问题有以下三种情况:
1 无约束条件
这是最简单的情况,解决方法通常是对函数变量求导,令求导函数为0的点可能是极值点。将结果带回原函数进行验证即可。
设目标函数为,约束条件为,形如
Copyright © 2003-2013 www.wpsshop.cn 版权所有,并保留所有权利。