【技术经验分享】计算机毕业设计Hadoop+Spark知识图谱股票基金推荐与预测系统 股票基金可视化 股票基金推荐系统 股票基金可视化系统 股票基金数据分析 股票基金爬虫大数据_spark对接grafana股票分析

开发技术

前端开发：vue.js、element-ui、echarts、websocket

后端开发：springboot+mybatis

数据库：mysql关系系数据库、neo4j图数据库

大数据分析：hadoop+spark+flink

算法/深度学习：mlp神经网络模型、lstm情感分析模型、svd混合神经网络推荐算法、协同过滤算法、KNN+CNN+GNN卷积神经+Kmeans线性回归预测算法

爬虫技术：python、chrome_driver、selenium、requests

爬虫代码分析

def deleteDate():
    sql = "DELETE FROM news "
    try:
        # 执行SQL语句
        cursor.execute(sql)
        # 提交修改
        db.commit()
    except:
        # 发生错误时回滚
        db.rollback()

def saveDate(title,content,time,recourse,url):
    try:
        cursor.execute("INSERT INTO news(news_title, news_content, type_id, news_creatTime, news_recourse,news_link) VALUES ('%s', '%s', '%s', '%s', '%s' ,'%s')" % \
          (title, content, random.randint(1,8), time, recourse,url))
        db.commit()
        print("执行成功")
    except:
        db.rollback()
        print("执行失败")

def getLink(baseurl):
    html = requests.get(baseurl, headers=hea)
    html.encoding = 'utf8'
    soup = BeautifulSoup(html.text, 'html.parser')
    for item in soup.select('div.content_list > ul > li'):
        # 对不符合的数据进行清洗
        if (item.a == None):
            continue
        data = []
        type = item.div.text[1:3]  # 类型
        link = item.div.next_sibling.next_sibling.a['href']
        data.append(type)
        data.append(link)
        links.append(data)

if __name__ == '__main__':
    main()
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38

java代码分析

package com.bigdata.storm.kafka.util;

import redis.clients.jedis.Jedis;
import redis.clients.jedis.JedisPool;
import redis.clients.jedis.JedisPoolConfig;

/**
 * @program: storm-kafka-api-demo
 * @description: redis工具类
 * @author: 小毕
 * @company: 清华大学深圳研究生院
 * @create: 2019-08-22 17:23
 */
public class JedisUtil {
    
    /*redis连接池*/
    private static JedisPool pool;
    
    /**
    *@Description: 返回redis连接池
    *@Param: 
    *@return: 
    *@Author: 小毕
    *@date: 2019/8/22 0022
    */
    public static JedisPool getPool(){
        if(pool==null){
            //创建jedis连接池配置
            JedisPoolConfig jedisPoolConfig = new JedisPoolConfig();
            //最大连接数
            jedisPoolConfig.setMaxTotal(20);
            //最大空闲连接
            jedisPoolConfig.setMaxIdle(5);
            pool=new JedisPool(jedisPoolConfig,"node03.hadoop.com",6379,3000);
        }
        return pool;
    }

    public static Jedis getConnection(){
        return getPool().getResource();
    }

/*    public static void main(String[] args) {
        //System.out.println(getPool());
        //System.out.println(getConnection().set("hello","world"));
    }*/






    
    
}
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55

scala大数据分析代码分析

package com.bigdata.spark.reducebykey_sort

import org.apache.spark.{SparkConf, SparkContext}

/**
 * @program: spark-api-demo
 * @description: 类作用描述
 * @author: 小毕
 * @company: 清华大学深圳研究生院
 * @create: 2019-09-02 18:00
 */
object ReduceByKeySortRddDemo {

  def main(args: Array[String]): Unit = {
    val conf=new SparkConf()
      .setAppName("MapFilterApp")
      .setMaster("local")
    val sc=new SparkContext(conf)
    val rdd1=sc.parallelize(List(("tom", 1), ("jerry", 3), ("kitty", 2),  ("shuke", 1)))
    val rdd2=sc.parallelize(List(("jerry", 2), ("tom", 3), ("shuke", 2), ("kitty", 5)))
    val rdd3=rdd1.union(rdd2)
    //按key进行聚合
    val rdd4=rdd3.reduceByKey(_+_)
    rdd4.collect.foreach(println(_))
    //按value的降序排序
    val rdd5=rdd4.map(t=>(t._2,t._1)).sortByKey(false).map(t=>(t._2,t._1))
    rdd5.collect.foreach(println)
  }

}

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31

创新点

深度学习预测-K线图(预测算法)

4种推荐算法实现(机器学习+深度学习)

大屏可视化大数据分析(hadoop+spark+flink)

用户修改密码使用阿里云短信接口

百度AI身份证自动识别认证

支付宝沙箱模拟支付

Python爬虫实时数据爬取采集

评论情感分析(lstm模型)

演示截图

视频