Python机器学习(scikit-learn)：监督学习 --- 支持向量机_scikit训练支持向量机

原文链接：https://xiets.blog.csdn.net/article/details/130977217

版权声明：原创文章禁止转载

专栏目录：scikit-learn 专栏（总目录）

scikit-learn 官方相关网站：

• 官网: https://scikit-learn.org/
• 用户指南 (实例教程): https://scikit-learn.org/stable/user_guide.html
• API (各模块、模型类): https://scikit-learn.org/stable/modules/classes.html

参考书籍：

• Python机器学习基础教程 — [德] 安德里亚斯·穆勒 / [美] 莎拉·吉多
• scikit-learn机器学习（第2版）— [美]加文·海克(Gavin Hackeling)

sklearn.svm 模块中实现了支持向量机。

支持向量机 教程(官网): Support Vector Machines

1. 支持向量机

支持向量机(SVM) 是一组用于分类、 回归和异常值检测的监督学习方法。

支持向量机的优点是：

• 在高维空间中有效。
• 在维度数大于样本数的情况下仍然有效。
• 在决策函数中使用训练点的子集（称为支持向量），因此它也具有内存效率。
• 通用性：可以为决策函数指定不同的内核函数。提供了通用内核，但也可以指定自定义内核。

支持向量机的缺点包括：

• 如果特征数量远大于样本数量，在选择核函数时避免过度拟合，正则化项至关重要。
• SVM 不直接提供概率估计，这些是使用昂贵的五折交叉验证计算的。

支持向量机估计器分类：

• svm.LinearSVC([penalty, loss, dual, tol, C, ...])：线性支持向量分类。
• svm.LinearSVR(*[, epsilon, tol, C, loss, ...])：线性支持向量回归。
• svm.NuSVC(*[, nu, kernel, degree, gamma, ...])：Nu-支持向量分类。
• svm.NuSVR(*[, nu, C, kernel, degree, gamma, ...])：Nu 支持向量回归。
• svm.OneClassSVM(*[, kernel, degree, gamma, ...])：无监督异常值检测。
• svm.SVC(*[, C, kernel, degree, gamma, ...])：C-支持向量分类。
• svm.SVR(*[, kernel, degree, gamma, coef0, ...])：Epsilon-支持向量回归。

2. 线性支持向量机(分类器) LinearSVC

使用 线性支持向量机(分类器) 处理 鸢尾花分类 问题：

from sklearn import datasets
from sklearn import model_selection
from sklearn import svm

# 加载鸢尾花数据集
X, y = datasets.load_iris(return_X_y=True)

# 拆分 训练集 和 测试集
X_train, X_test, y_train, y_test = model_selection.train_test_split(X, y, random_state=0)

# 创建 线型支持向量机分类器
# C 是正则化参数, 正则化的强度与 C 成反比, 必须严格为正, C默认为1.0。
svc_cls = svm.LinearSVC(C=100)

# 训练数据
svc_cls.fit(X_train, y_train)

# 评估模型得分 (准确率)
print(svc_cls.score(X_test, y_test))    # 输出: 0.9736842105263158
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19

2. Epsilon-支持向量回归 SVR

用 支持向量回归(SVR) 处理 加利福尼亚住房数据集 问题：

from sklearn import datasets
from sklearn import svm
from sklearn import model_selection

# 加载/获取 加利福尼亚住房 数据集
X, y = datasets.fetch_california_housing(return_X_y=True)

# 把数据集拆分为 训练集 和 测试集
X_train, X_test, y_train, y_test = model_selection.train_test_split(X, y, random_state=0)

# 创建 支持向量机 回归估计器
svm_reg = svm.SVR(C=100.0)

# 训练模型
svm_reg.fit(X_train, y_train)

# 评估模型 R方
print(svm_reg.score(X_train, y_train))      # 在训练集上的得分: 0.5122521137531422
print(svm_reg.score(X_test, y_test))        # 在测试集上的得分: 0.5078917076392786
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19