大数据毕业设计PySpark+Hadoop地震预测系统 地震数据分析可视化 地震爬虫 Flink Hadoop 深度学习 机器学习 深度学习 知识图谱 人工智能 数据可视化 计算机毕业设计_基于hadoop的地震数据分析

1.采集中国地震局地震数据约100万条存入.csv和mysql,清洗后的.csv上传mysql;
3.分析指标离线可选用Hive,实时可选装PySpark/PyFlink,可三选一也可以只选一种或者三个都选；
4.计算结果使用sqoop工具对接到mysql数据库的指标表；
5.使用flask+echarts制作可视化大屏、layui查询表格；
6.使用卷积神经网络KNN CNN RNN对地震数据进行预测；
创新点：全新DrssionPage爬虫框架、可视化大屏、离线计算实时计算全部实现、深度学习算法预测地震

分析代码如下分享： 

import numpy as np
import pandas as pd
import tensorflow as tf
from sklearn.model_selection import train_test_split
 
# 加载地震数据集
data = pd.read_csv('earthquake_data.csv')
X = data.drop('magnitude', axis=1)
y = data['magnitude']
 
# 划分训练集和测试集
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)
 
# 构建神经网络模型
model = tf.keras.Sequential([
    tf.keras.layers.Dense(64, input_shape=(X_train.shape[1],), activation='relu'),
    tf.keras.layers.Dense(64, activation='relu'),
    tf.keras.layers.Dense(1)
])
 
# 编译模型
model.compile(optimizer='adam',
              loss='mse',
              metrics=['mae'])
 
# 训练模型
model.fit(X_train, y_train, epochs=50, batch_size=32, verbose=0)
 
# 评估模型
test_loss, test_mae = model.evaluate(X_test, y_test, verbose=0)
print('Test MAE: ', test_mae)