赞
踩
目录
10.4 自定义评分函数(Custom Scoring Function)
机器学习和数据科学正以惊人的速度改变着我们的世界,而Sklearn(Scikit-learn)作为Python语言中最为流行的机器学习库之一,成为了数据科学家和机器学习工程师的必备工具。本教程旨在帮助您从零开始掌握Sklearn,通过一步步的实例和解释,让您能够独立完成数据预处理、模型训练、评估和优化。无论您是数据科学的新手,还是希望巩固基础的老手,都能从中获益。
在开始使用Sklearn之前,首先需要确保已经安装了该库。您可以通过以下命令安装Sklearn:
pip install scikit-learn
安装完成后,可以在Python代码中导入Sklearn:
import sklearn
此外,Sklearn依赖于其他一些重要的Python库,如NumPy和Pandas,因此确保这些库也已经安装并导入:
- import numpy as np
- import pandas as pd
Sklearn内置了多个经典数据集,方便用户进行学习和实验。以著名的鸢尾花数据集(Iris dataset)为例,介绍如何加载和探索数据集:
- from sklearn.datasets import load_iris
-
- # 加载数据集
- iris = load_iris()
- X = iris.data
- y = iris.target
-
- # 查看数据集的基本信息
- print("数据集特征名称:", iris.feature_names)
- print("数据集目标名称:", iris.target_names)
- print("特征数据的形状:", X.shape)
- print("目标数据的形状:", y.shape)
以上代码展示了如何加载鸢尾花数据集,并输出了特征名称、目标名称以及数据的形状。通过这些信息,用户可以对数据集有一个初步的了解。
在进行模型训练之前,通常需要对数据进行预处理。Sklearn提供了丰富的数据预处理工具,例如标准化、归一化、缺失值处理等。以下是一些常用的数据预处理方法:
标准化和归一化是常见的预处理步骤,有助于提升模型的性能。标准化是将数据转换为均值为0,方差为1的分布;归一化是将数据缩放到指定的范围内(通常是0到1之间)。
- from sklearn.preprocessing import StandardScaler, MinMaxScaler
-
- # 标准化
- scaler = StandardScaler()
- X_standardized = scaler.fit_transform(X)
-
- # 归一化
- scaler = MinMaxScaler()
- X_normalized = scaler.fit_transform(X)
数据集中可能存在缺失值,处理这些缺失值是数据预处理的重要步骤之一。Sklearn提供了简单的缺失值填充方法,例如均值填充:
- from sklearn.impute import SimpleImputer
-
- # 使用均值填充缺失值
- imputer = SimpleImputer(strategy='mean')
- X_imputed = imputer.fit_transform(X)
在训练模型之前,需要将数据集划分为训练集和测试集,以评估模型的性能。Sklearn提供了方便的划分工具:
- from sklearn.model_selection import train_test_split
-
- # 将数据集划分为训练集和测试集
- X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)
-
- print("训练集大小:", X_train.shape)
- print("测试集大小:", X_test.shape)
Sklearn提供了多种机器学习模型,包括线性回归、逻辑回归、支持向量机、决策树、随机森林等。以逻辑回归模型为例,介绍如何选择与训练模型:
- from sklearn.linear_model import LogisticRegression
-
- # 创建逻辑回归模型
- model = LogisticRegression()
-
- # 训练模型
- model.fit(X_train, y_train)
训练完成后,需要对模型进行评估,以了解其在测试集上的表现。常用的评估指标包括准确率、混淆矩阵、精确率、召回率等。Sklearn提供了丰富的评估工具:
- from sklearn.metrics import accuracy_score, confusion_matrix, classification_report
-
- # 预测测试集
- y_pred = model.predict(X_test)
-
- # 计算准确率
- accuracy = accuracy_score(y_test, y_pred)
- print("模型准确率:", accuracy)
-
- # 混淆矩阵
- conf_matrix = confusion_matrix(y_test, y_pred)
- print("混淆矩阵:\n", conf_matrix)
-
- # 分类报告
- class_report = classification_report(y_test, y_pred)
- print("分类报告:\n", class_report)

为了进一步提升模型性能,可以进行模型优化,包括超参数调优和模型选择。Sklearn提供了网格搜索(GridSearchCV)和随机搜索(RandomizedSearchCV)等工具:
网格搜索通过穷举搜索的方式,寻找最佳的超参数组合:
Copyright © 2003-2013 www.wpsshop.cn 版权所有,并保留所有权利。