当前位置:   article > 正文

大数据毕业设计PySpark+Hadoop航班延误预测 航班可视化 机票可视化 机票爬虫 航班大数据 机器学习 深度学习 人工智能 随机森林树 卷积神经网络 知识图谱 大数据毕业设计 计算机毕业设计_航空学校爬虫

航空学校爬虫
1.DrissionPage自动化Python爬虫工具采集飞猪网机票航班数据约1-5万条存入.csv文件作为数据集;
2.使用pandas+numpy或MapReduce对数据进行数据清洗,生成最终的.csv文件并上传到hdfs;
3.使用hive数仓技术建表建库,导入.csv数据集;
4.离线分析采用hive_sql完成,实时分析利用Flink之Scala、FlinkSQL完成;
5.统计指标使用sqoop导入mysql数据库
6.使用flask+echarts进行可视化大屏幕炫酷展示;同时可以预测航班延误、起飞架次!!!
创新点/特色:
0.全新PyFlink而不是Flink!吊打一切!全网都没啥教程!属于最新最屌最流行!
1.DrissionPage自动化Python爬虫工具,比传统的selenium、requests强悍很多,7*24小时不间断疯狂爬取无压力;
2.可视化炫酷大屏幕;
3.虚拟机显摆敲命令碾压答辩现场(市面上全是假算法假爬虫假大数据都不带用虚拟机的);
4.1000万海量数据集;
5.Flink实时计算+Hive、Hadoop离线计算双实现有效避免导师喷你;
注意:如果还被喷项目工作量简单或者课设级别等理由不让你过,直接1秒内无缝对接选装推荐系统、后台管理、前台系统、预测算法、知识图谱等
## 可选装项目模块如下:
1.推荐系统(4种深度学习推荐算法 协同过滤基于用户 基于物品 SVD神经网络 MLP)。附带AI、支付、短信、lstm情感分析。
2.预测系统(KNN CNN RNN卷积神经预测 K-means 线性回归)。
3.知识图谱neo4j可视化关系网络图。
4.后台管理系统。

1.注册登录,账号密码保存到数据库中

2.首页,用户登录之后会显示一些关于航班延误的介绍

3.展示航班信息,类似于一个表格的形式

4.数据可视化,多弄几个页面,要有各种各样的图表

5.留言,用户可以在网页上留言,留言也要保存到数据库中

6.预测航班延误的可能(决策树算法),最好是选择一个航班,然后告诉用户是否可能延误

7.管理(管理员,用户),管理员可以查看用户的信息

航班预测核心代码如下:

  1. import pandas as pd
  2. from sklearn.model_selection import train_test_split
  3. from sklearn.ensemble import RandomForestClassifier
  4. from sklearn.metrics import accuracy_score, classification_report
  5. # 读取航班数据集
  6. flight_data = pd.read_csv('flight_data.csv')
  7. # 数据预处理
  8. # 假设数据集包含特征 'departure_delay', 'arrival_delay', 'airline', 'weather', 'weekend' 等
  9. X = flight_data[['departure_delay', 'arrival_delay', 'airline', 'weather', 'weekend']]
  10. y = flight_data['is_delayed'] # is_delayed 是目标变量,表示航班是否延误
  11. # 将分类特征转换为虚拟变量
  12. X = pd.get_dummies(X, columns=['airline', 'weather'])
  13. # 划分训练集和测试集
  14. X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)
  15. # 训练随机森林分类器模型
  16. rf_model = RandomForestClassifier(n_estimators=100, random_state=42)
  17. rf_model.fit(X_train, y_train)
  18. # 进行预测
  19. y_pred = rf_model.predict(X_test)
  20. # 评估模型性能
  21. accuracy = accuracy_score(y_test, y_pred)
  22. print(f"模型准确率: {accuracy}")
  23. # 输出分类报告
  24. print(classification_report(y_test, y_pred))

 

声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/从前慢现在也慢/article/detail/768112
推荐阅读
相关标签
  

闽ICP备14008679号