【开发技术经验分享】计算机毕业设计hadoop+spark知识图谱高考分数预测系统 高考志愿推荐系统 高考可视化大屏 高考大数据 高考数据分析 高考爬虫 大数据毕业设计_使用rdd对高考分数线进行分析

开发技术

hadoop
spark
springboot
vue.js
Python爬虫、机器学习、深度学习
mybatis-plus
neo4j知识图谱图数据库
mysql
协同过滤算法(基于物品、基于用户模式)
MLP模型
SVD神经网络
CNN、KNN、GNN卷积神经网络预测算法
阿里云平台
百度AI平台
阿里大于短信平台
lstm模型

代码分析分享

爬虫主要如下技术比较基础简单

def deleteDate():
    sql = "DELETE FROM news "
    try:
        # 执行SQL语句
        cursor.execute(sql)
        # 提交修改
        db.commit()
    except:
        # 发生错误时回滚
        db.rollback()

def saveDate(title,content,time,recourse,url):
    try:
        cursor.execute("INSERT INTO news(news_title, news_content, type_id, news_creatTime, news_recourse,news_link) VALUES ('%s', '%s', '%s', '%s', '%s' ,'%s')" % \
          (title, content, random.randint(1,8), time, recourse,url))
        db.commit()
        print("执行成功")
    except:
        db.rollback()
        print("执行失败")
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20

数据分析可视化代码如下

package com.bigdata.spark.reducebykey_sort

import org.apache.spark.{SparkConf, SparkContext}

/**
 * @program: spark-api-demo
 * @description: 类作用描述
 * @author: 小毕
 * @company: 清华大学深圳研究生院
 * @create: 2019-09-02 18:00
 */
object ReduceByKeySortRddDemo {

  def main(args: Array[String]): Unit = {
    val conf=new SparkConf()
      .setAppName("MapFilterApp")
      .setMaster("local")
    val sc=new SparkContext(conf)
    val rdd1=sc.parallelize(List(("tom", 1), ("jerry", 3), ("kitty", 2),  ("shuke", 1)))
    val rdd2=sc.parallelize(List(("jerry", 2), ("tom", 3), ("shuke", 2), ("kitty", 5)))
    val rdd3=rdd1.union(rdd2)
    //按key进行聚合
    val rdd4=rdd3.reduceByKey(_+_)
    rdd4.collect.foreach(println(_))
    //按value的降序排序
    val rdd5=rdd4.map(t=>(t._2,t._1)).sortByKey(false).map(t=>(t._2,t._1))
    rdd5.collect.foreach(println)
  }

}

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31

创新点

4种机器学习推荐算法进行高考志愿学校推荐

1种深度学习模型进行高考分数线预测

hadoop+spark大屏可视化数据分析

深度学习模拟志愿填报功能

知识图谱关联图

修改密码使用短信验证码

实名认证识别身份证

支付宝沙箱支付功能

lstm情感分析模型分析评论

Python爬虫采集数据全面，涉及5-7张高考业务表，数据量巨大，10-50W+

…10-50种创新点

运行截图

运行视频