支持向量机SVM的原理和python实现_python svm

前言

本文主要用来讲述SVM原理与其在python中的使用，更多应用与实现见其他博客：
机器学习-支持向量机

该图来自于Eren Gogle，由此图可以看出SVM旺盛的生命力。实际上，即使是深度学习非常火热的今天，SVM依然盛行。在一些小样本分类问题上，SVM表现非常好，用深度学习模型可能反而会使问题变得更复杂。

下面将开始介绍SVM算法

1 SVM概述

1.1 概念

支持向量机（SVM）是一类按监督学习方式对数据进行二元分类的广义线性分类器，其决策边界是对学习样本求解的最大边距超平面，可以将问题化为一个求解凸二次规划的问题。与逻辑回归和神经网络相比，支持向量机，在学习复杂的非线性方程时提供了一种更为清晰，更加强大的方式。

具体来说就是在线性可分时，在原空间寻找两类样本的最优分类超平面。在线性不可分时，加入松弛变量并通过使用非线性映射将低维度输入空间的样本映射到高维度空间使其变为线性可分，这样就可以在该特征空间中寻找最优分类超平面。

SVM使用准则：nn 为特征数，mm 为训练样本数。

如果相较于mm而言，nn要大许多，即训练集数据量不够支持我们训练一个复杂的非线性模型，我们选用逻辑回归模型或者不带核函数的支持向量机。
如果nn较小，而且mm大小中等，例如nn在 1-1000 之间，而mm在10-10000之间，使用高斯核函数的支持向量机。
如果nn较小，而mm较大，例如nn在1-1000之间，而