【机器学习】机器学习学习笔记 - 监督学习 - KNN线性回归岭回归 - 02

监督学习

KNN (k-nearest neighbors)

• KNN 是用 k 个最近邻的训练数据集来寻找未知对象分类的一种算法

from sklearn import neighbors

# 分类
# 创建KNN分类器模型并进行训练
classifier = neighbors.KNeighborsClassifier(num_neighbors, weights='distance')
classifier.fit(X, y)

test_datapoint = [4.5, 3.6]

# 提取KNN分类结果
dist, indices = classifier.kneighbors([test_datapoint])

# 回归
# 定义并训练回归器
knn_regressor = neighbors.KNeighborsRegressor(n_neighbors, weights='distance')
# 预测
y_values = knn_regressor.fit(X, y).predict(x_values)

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18

pdf在线免费转word文档 https://orcc.online/pdf

线性回归

• 优点: 简单、速度快
• 缺点: 普通线性回归对异常值敏感,会破坏整个模型, 可以使用岭回归的方法优化
• 缺点: 拟合准确度相对不高
• 回归是估计输入数据与连续值输出数据之间关系的过程
• 线性回归的目标是提取输入变量与输出变量的关联线性模型
• 普通最小二乘法（Ordinary Least Squares，OLS）: 要求实际输出与线性方程, 预测的输出的残差平方和（sum of squares of differences）最小化

# -*- coding: UTF-8 -*-

import sys
import numpy as np
from sklearn import linear_model
import matplotlib.pyplot as plt

# 数据准备
X = [1,2,3,4,5,6,7,8,9,10]
y = [22,22,23,24,25,27,27,30,29,30]

# 取80%的样本作为训练数据
num_training = int(0.8 * len(X))
num_test = len(X) - num_training

# 训练数据 80% reshape：(行数,列数)
# 行数：样本数
# 列数：特征数
X_train = np.array(X[:num_training]).reshape((num_training,1))
y_train = np.array(y[:num_training])

# 测试数据 20%
X_test = np.array(X[num_training:]).reshape((num_test,1))
y_test = np.array(y[num_training:])

# 创建线性回归对象
linear_regressor = linear_model.LinearRegression()

# 用训练数据集训练模型
linear_regressor.fit(X_train, y_train)

# 用训练好的模型预测测试数据集
# 预测数据
y_test_pred = linear_regressor.predict(X_test)
print('测试数据集的预测结果：',y_test_pred)
# 创建一个空白的窗口
plt.figure()
# 画出训练数据 散点图 -- 测试数据实际值
plt.scatter(X_test, y_test, color='green')
# 画出预测数据 折线图
plt.plot(X_test, y_test_pred, color='black', linewidth=4)
plt.title('Training data')
plt.show()

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44

岭回归

• 岭回归是一种线性回归模型, 它通过对数据进行截距处理, 使得回归系数的绝对值不超过给定阈值
• 岭回归的优点是可以减小过拟合的风险, 并且可以处理异常值
• 岭回归的缺点是它对数据进行了截距处理

# 创建龄回归对象
# alpha：正则化力度, 控制回归器复杂度，趋近于0就是常规最小二乘法, 对异常值不敏感就设置一个较大值
# alpha取值范围为0~1小数值、1~10整数值
# fit_intercept：是否使用截距
# max_iter：最大迭代次数
ridge_regressor = linear_model.Ridge(alpha=0.8, fit_intercept=True, max_iter=100)

1
2
3
4
5
6
7

IT免费在线工具网 https://orcc.online