设计、训练、测试、部署，用Python手把手开发AI模型

作者：你好赵伟 | 2024-06-01 18:42:14

踩

释放 ML 模型的力量：使用 Python 进行设计、训练、测试和部署的指南

微信搜索关注《Python学研大本营》，加入读者群，分享更多精彩

机器学习简介

机器学习是人工智能的一个子领域，专注于开发可以从数据中学习和预测数据的算法。通过机器学习，可以训练计算机自动执行通常需要人类智能才能完成的任务，例如识别模式、做出决策和解决问题。

有几种不同类型的机器学习，包括监督学习、无监督学习、半监督学习和强化学习。在监督学习中，算法在标记的数据集上进行训练，目标是对新的、未见过的数据进行预测。在无监督学习中，算法在未标记的数据集上进行训练，目标是找到数据中的模式或关系。半监督学习是两者的结合，算法是在标记和未标记数据的混合体上训练的。强化学习涉及通过为其行为提供奖励和惩罚来训练算法。

机器学习具有广泛的应用，包括图像和语音识别、自然语言处理和预测建模。随着大数据的出现和计算能力的不断提高，机器学习已成为企业和个人越来越重要的工具。

设计机器学习模型

设计机器学习模型涉及选择合适的算法、准备数据以及定义模型将用于进行预测的特征。重要的是要清楚地了解您要解决的问题以及您正在处理的数据的特征，以便选择最合适的算法。

例如，如果你有大量的标记数据，你想对一个连续的目标变量进行预测，回归算法可能是最好的选择。另一方面，如果您有少量带标签的数据，并且您希望将数据分类为几个类别中的一个，决策树算法可能是更好的选择。

选择算法后，下一步就是准备数据。这可能涉及清理数据、转换数据以及将数据拆分为训练集和测试集。仔细考虑模型中包含的特征很重要，因为它们会对预测的准确性产生重大影响。

训练机器学习模型

训练机器学习模型涉及使用训练数据集来估计模型的参数。目标是找到能够对训练数据做出最佳预测的参数。有几种算法可用于训练机器学习模型，包括梯度下降、随机梯度下降和共轭梯度。

一旦模型经过训练，就可以使用测试数据集对其进行评估。测试数据集用于评估模型做出预测的准确性，并识别训练过程中可能发生的任何过拟合或欠拟合。

在 Python 中，scikit-learn 库是一种用于训练和评估机器学习模型的流行工具。该库提供了一系列用于预处理、转换和拆分数据以及用于训练和评估模型的算法和工具。

下面是一个代码示例，展示了如何在 scikit-learn 中训练一个简单的线性回归模型：


from sklearn.linear_model import LinearRegression
from sklearn.model_selection import train_test_split
import numpy as np
import pandas as pd
 
# Load the data
data = pd.read_csv('data.csv')
 
# Split the data into training and testing sets
X_train, X_test, y_train, y_test = train_test_split(data[['input_feature']], data['output'], test_size=0.2)
 
# Train the model
model = LinearRegression()
model.fit(X_train, y_train)
 
# Evaluate the model on the testing data
print(model.score(X_test, y_test))

测试机器学习模型

测试机器学习模型涉及评估其在测试数据集上的性能。有多种指标可用于评估机器学习模型的性能，包括准确度、精确度、召回率、F1 分数和 ROC AUC。

除了评估模型在测试数据集上的性能外，使用交叉验证来验证模型也很重要。交叉验证涉及将数据分成多个折叠，在每个折叠上训练模型，并评估其在剩余数据上的性能。这提供了对模型性能的更可靠估计，因为它允许您评估其泛化到新数据的能力。

在 Python 中，scikit-learn 提供了几个用于评估机器学习模型性能的函数，包括accuracy_score、precision_score、recall_score、f1_score和roc_auc_score。这些函数可用于计算给定模型的性能指标，并比较不同模型的性能。

下面是一个代码示例，展示了如何使用该score方法评估经过训练的模型的性能：


# Evaluate the model on the testing data
print(model.score(X_test, y_test))

部署机器学习模型

部署机器学习模型涉及使其可用于现实环境，例如网站或移动应用程序。这可以通过将经过训练的模型保存到磁盘并在需要时将其加载到应用程序中来完成。

在 Python 中，该pickle库可用于将机器学习模型保存到磁盘，并在需要时加载它。例如，以下代码演示了如何训练决策树分类器、将其保存到磁盘并在新脚本中加载它：


import pickle
from sklearn import tree
 
# Train the model
clf = tree.DecisionTreeClassifier()
clf.fit(X_train, y_train)
 
# Save the model to disk
with open("model.pkl", "wb") as f:
    pickle.dump(clf, f)
 
# Load the model from disk
with open("model.pkl", "rb") as f:
    loaded_clf = pickle.load(f)
 
# Use the loaded model to make predictions
predictions = loaded_clf.predict(X_test)

Flask 和 FastAPI 是 Python 中两个流行的 Web 框架，可用于部署机器学习模型，并且比简单地将其加载到磁盘上并检索它更具可行性和交互性，当您使用 Flask 和 FastAPI 进行部署时，该模型位于服务器，并且比简单地将模型加载到硬盘驱动器磁盘上具有更好的可扩展性、可访问性、可靠性和安全性，尽管安全方面可以争论，因为有些人会说使用磁盘比部署在服务器上更安全，这可能是真的取决于在您的服务器上实施的安全措施，例如您是否使用安全协议 (HTTPS) 确保传输的数据是加密的，以及其他方面，这些方面的讨论可能会写满一本书。

Flask 是一个轻量级的 Web 框架，可用于创建简单的 Web 应用程序。要使用 Flask 部署机器学习模型，您可以创建一个 Flask 应用程序来接收用户的输入、使用模型进行预测并返回结果。

以下是如何使用 Flask 部署机器学习模型的示例：


from flask import Flask, request, jsonify
import pickle
 
app = Flask(__name__)
 
# Load the saved model
model = pickle.load(open("model.pkl", "rb"))
 
# Define a route for making predictions
@app.route("/predict", methods=["POST"])
def predict():
    # Get the input data
    data = request.get_json(force=True)
    prediction = model.predict([[data["input_1"], data["input_2"], data["input_3"]]])
    
    # Return the prediction
    return jsonify(prediction[0])
 
if __name__ == "__main__":
    app.run()

FastAPI 是一个更现代的 Web 框架，旨在快速且易于使用。它可用于创建能够处理大量请求并快速返回结果的 Web 应用程序。要使用 FastAPI 部署机器学习模型，您可以创建一个 FastAPI 应用程序来接收用户的输入、使用模型进行预测并返回结果。

以下是如何使用 FastAPI 部署机器学习模型的示例：


from fastapi import FastAPI
import pickle
 
app = FastAPI()
 
# Load the saved model
model = pickle.load(open("model.pkl", "rb"))
 
# Define a route for making predictions
@app.post("/predict")
def predict(input_1: float, input_2: float, input_3: float):
    prediction = model.predict([[input_1, input_2, input_3]])
    return {"prediction": prediction[0]}

Flask 和 FastAPI 都可以用来部署机器学习模型，但是 FastAPI 通常更快更容易使用。通过使用 Flask 或 FastAPI 部署机器学习模型，您可以让其他人使用您的模型，无论他们使用的是 Web 浏览器、移动应用程序还是其他应用程序。

总之，机器学习是进行预测和解决问题的强大工具。设计、训练、测试和部署机器学习模型需要对问题、数据和用于解决问题的算法有很好的理解。scikit-learn 库为 Python 中的机器学习提供了一系列算法和工具，使其成为开发人员和数据科学家等人都可以使用的强大工具。无论您是要构建推荐系统、对图像进行分类还是预测股票价格，机器学习都是您的武器库中的宝贵工具。

设计、训练、测试、部署，用Python手把手开发AI模型

机器学习简介

设计机器学习模型

训练机器学习模型

测试机器学习模型

部署机器学习模型

推荐书单

《图解数据智能》

精彩回顾