机器学习——支持向量机SVM之非线性模型（低维到高维映射）_低维到高维的线性映射

目录

一、非线性模型的最优化问题

1、非线性模型最优化模型

2、两个概念

1）正则项（regularization term）

2）调参参数

2、高维映射

1）定义及作用

2）高维映射后的最优化模型

3）异或问题（例子）

4）如何定义映射？（寻找确定映射关系——核函数的确定）

核函数与高维映射的关系：

常用核函数：

核函数K可以拆写成高维映射的内积的条件：

二、总结

如何通过核函数来代替优化问题中限制条件中的高维映射进而对最优化问题进行求解呢？

---

课程链接：《浙江大学-研究生机器学习课程》

一、非线性模型的最优化问题

至于什么是非线性方程在《机器学习理论——支持向量机SVM之线性模型》中已经讲过，不再赘述

1、非线性模型最优化模型

在线性模型的基础上，添加一个正则项和改变限制条件就得到了非线性模型

已知量：训练数据——xi，标签——yi，系数——C；

未知量：权重系数——w，偏置——b，松弛变量——（slack variable）

2、两个概念

1）正则项（regularization term）

正则项使得目标函数规划化，让没有解的问题变得有解（如线性模型在非线性情况下就没有解，这时候加上合适的正则项后有解可取），或者求得的解不是我们所需要的解的时候则我们需要进行正则项的添加

2）调参参数

C是事先设定好的值，作用是用来对目标函数w和松弛变量间进行权衡的作用，是一个权重。那具体取什么值呢？一般取值没有固定的取值，C的大小决定了模型分类时容错率的大小，C越大，说明容错率越小，越小则表明容错率越大，容错率就是没有正确被归类的占比

2、高维映射

1）定义及作用

在非线性模型中寻找一条直线进行二元分类似乎已经不太适用（如上图找不到直线进行二元分类），但是通过映射，将低维的量映射到高维，即通过高维映射后，在高维空间中，更有可能线性可分进行二元分类。维度越高，线性可分的概率越大

2）高维映射后的最优化模型

3）异或问题（例子）

异或问题是最简单的非线性模型，在低维下没法找到一条直线将二元分类

其中一个解：

验证结果正确性（判断是否线性可分）

注：

维度越高，线性可分的概率越大

维数为无限时，线性可分的概率为1

 

4）如何定义映射？（寻找确定映射关系——核函数的确定）

主要思路：我们不需要知道映射的确切关系，只需要知道由低维样本组成的核函数的形式即可，因为核函数可以拆分为高维映射的内积

核函数与高维映射的关系：

常用核函数：

核函数K可以拆写成高维映射的内积的条件：

二、总结

这节主要给出了非线性模型最优化问题，以及非线性最优化问题求解的思路——高维映射，利用核函数替代最优化问题中的高维映射进行求解

如何通过核函数来代替优化问题中限制条件中的高维映射进而对最优化问题进行求解呢？

请看：《机器学习理论——支持向量机SVM之非线性模型（原问题和对偶问题）》