机器学习项目的实例分析设计（附源码）_机器学习项目设计

作者：weixin_40725706 | 2024-03-18 13:41:38

踩

机器学习项目设计

摘要说明：

最近在学习“Hands-On Machine Learning with Scikit-Learn &TensorFlow”,其中一些机器学习的思考和处理方式很具有项目级开发的特点。我在原文提供的实例基础上，结合自己的分析，模拟了一个机器学习项目的分析和实现过程，包括项目分析，数据分析，模型分析，性能分析等，在原文的样本代码基础上，编写了完整的可全面自动化运行的代码，供大家一起参考。（文章后面将提供源码的 github 地址）

一. 项目的总体分析

业务分析

内容	分析设计
项目名称	加利福尼亚房价预测
商业背景及价值	本公司是一家投资公司，现有一套综合投资分析系统，将汇总各类信息，对行政区进行全面分析后，决定是否值得进行投资。本项目获得的各行政区的房价中值预测值，将提供给公司的综合投资分析系统，作为其中的一项分析指标，帮助公司进行决策。目前房价中值的计算，完全依靠业务专家，通过复杂的人工推导分析后获得，费时费力，不及时，不准确。本项目将实现房价中值的自动化预测计算和处理，其预测结果将影响公司投资决策的速度和准确性，从而直接影响公司的商业业绩。
业务需求	利用加利福尼亚房价数据库提供的统计数据，通过机器学习，从这些数据中构建模型，获得信息，用于预测加利福尼亚州不同行政区的房价中值
非功能性需求	目前采用人工分析的方法，全部计算一次所有行政区的房价中值，需要5 人天。本项目完成后，正常情况下，要求在1小时内完成所有计算。

系统分析

内容

分析设计

基本训练模型方案

1. 由于有明确的预测值要求，因此将使用有监督的模型（不是无监督模型）；

2. 由于预测的是具体数值，不是标签，因此属于回归问题（不是分类问题，或聚类问题）；

3. 根据跟专家的沟通，房价的预测将需要涉及数据集中提供的多个特征属性，属于多变量回归问题

4. 房价数据源信息不是实时连续变化的数据，数据量也不是特别大，完全可以装载到内存后进行处理，因此采用简单的单机批处理方式来完成。（不考虑大数据下的分布式处理及实时数据流的在线处理方式）

综上分析，本项目将采用的基本回归分析模型有：

线性回归模型：LinearRegression
决策树模型：DecisionTreeRegressor
随机森林树模型: RandomForestRegressor

模型效果的测量指标

回归分析模型的性能，可采用的测量指标有：

均方根误差(RMSE)
均方误差（MSE）
平均绝对误差(MAE)
中位值误差
r方误差

RMSE对异常数据比较敏感，若数据集的异常数据很少时（即数据分布比较集中，像一个钟型），用RMSE来衡量模型效果还是比较好的，

因此，本项目将采用 RMSE 指标进行模型性能的衡量比较，RMSE值越小，模型性能越好。

开发环境

Python的生态环境提供了我们完成该项目需要的机器学习函数库，开源，通用性好，运行性能可满足项目要求；如 numpy, pandas, scikit-Learn等，其中scikit-Learn模块中有一些流程化处理的函数，可以让自动化处理的实现更加简洁和优雅。

因此，本项目将采用 Python + Scikit-Learn 为主要开发平台

自动化及可重用性

这是一个需要可重复使用的生产系统，不是一次性工具，也不是单纯研究用的人机交互程序；需要尽量把处理代码自动化，以提高调试优化的效率，并在生产环境中部署后自动化运行，提供必要的运维日志信息

前提假设

1. 加利福尼亚房价数据库持续提供更新的房价数据

2. 公司综合投资分析系统的数据接口保持不变，需要本项目提供的是房价的具体数值，而不是“昂贵”，“中等”，“低廉”的分类标签。否则，本项目的学习模型将会更改为分类模型

术语说明

关于记录集变量的定义说明如下：（括号内为全名称）

变量名	含义
train_set	原始训练数据集，包含标签列，特征列
test_set	原始数据测试集，包含标签列，特征列
train(train_feature)	训练集中的特征集，不含标签列，简写成 train
train_label	训练集中的标签列
train_num(train_feature_num)	训练集中的数值意义特征集
train_cat(train_feature_cat)

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/weixin_40725706/article/detail/263444