支持向量机 SVM | SVC | SVR | 代码实现_svr模型代码

一. SVC 分类模型

对于SVM分类模型，即SVC模型，目标函数和限制条件为：
{ min ⁡ 1 2 ∥ w ∥ 2 + C ∑ i = 1 m ξ i s . t : y ( i ) ( w T x ( i ) + b ) ≥ 1 − ξ i ， i = 1 , 2 , . . . , m \left\{

$$\begin{matrix}\min\frac{1}{2}\left \| w \right \|^{2}+C\sum_{i=1}^{m} \xi _{i} \\ \\s.t: y^{(i)} (w^{T}x^{(i)}+b)\ge 1-\xi_{i} ，i=1,2,...,m \end{matrix}$$ \right. ⎩ ⎨ ⎧​min21​∥w∥2+C∑i=1m​ξi​s.t:y(i)(wTx(i)+b)≥1−ξi​，i=1,2,...,m​
$${\xi }_i\ge 0，i=1,2,...,m$$

	通过“街宽”最大，以确保所有样本点都在“街道”以外
		即w最小
1
2

二. SVR 回归模型

对于SVM回归模型，即SVR模型：我们希望能够寻找一条线性模型y=wx+b来尽可能拟合所有样本点；也就是说，我们需要样本点位于“街道”内部

这样，我们通过定义常量$ϵ>0$，就可以得到对于任意一点$(x,y)$，如果$|y^i-wx-b|\le ϵ$，模型无损失

因此，目标函数和限制条件为：
{ min ⁡ 1 2 ∥ w ∥ 2 s . t : ∣ y ( i ) − w T x ( i ) − b ∣ ≤ ϵ ， i = 1 , 2 , . . . , m \left\{

$$\begin{matrix}\min\frac{1}{2}\left \| w \right \|^{2} \\ \\s.t: |y^{(i)} -w^{T}x^{(i)}-b|\le \epsilon ，i=1,2,...,m \end{matrix}$$ \right. ⎩ ⎨ ⎧​min21​∥w∥2s.t:∣y(i)−wTx(i)−b∣≤ϵ，i=1,2,...,m​

加入松弛因子后，式子变为：
{ min ⁡ 1 2 ∥ w ∥ 2 + C ∑ i = 1 m ( ξ i ∧ + ξ i ∨ ) s . t : − ε − ξ i ∨ ≤ y ( i ) − w T x ( i ) − b ≤ ϵ + x i i ∧ ， i = 1 , 2 , . . . , m \left\{

$$\begin{matrix}\min\frac{1}{2}\left \| w \right \|^{2}+C\sum_{i=1}^{m}(\xi _{i}^{\wedge}+ \xi _{i}^{\vee } ) \\ \\s.t: -\varepsilon -\xi _{i}^{\vee }\le y^{(i)} -w^{T}x^{(i)}-b\le \epsilon+xi _{i}^{\wedge} ，i=1,2,...,m \end{matrix}$$ \right. ⎩ ⎨ ⎧​min21​∥w∥2+C∑i=1m​(ξi∧​+ξi∨​)s.t:−ε−ξi∨​≤y(i)−wTx(i)−b≤ϵ+xii∧​，i=1,2,...,m​
$$x{i}_i^{\wedge }\ge 0，{\xi }_i^{\vee }\ge 0，i=1,2,3,...m$$
注意：$x{i}_i^{\wedge },{\xi }_i^{\vee }$不能同时大于0

	所有点尽量靠近街中线
		允许异常样本点的存在，也允许个别点位于“街道”外侧
1
2

---

感谢阅读