大数据毕业设计Python+Vue.js+Flask+Scrapy电影大数据分析 电影推荐系统 电影爬虫可视化 电影数据分析 协同过滤算法 计算机毕业设计 Django 知识图谱 机器学习 深度学习_数仓电影分析

开发技术
协同过滤算法、机器学习、vue.js、echarts、Flask、Python、MySQL
创新点
协同过滤推荐算法、爬虫、数据可视化
补充说明
两种Python协同过滤推荐算法集成 (ItemCF推荐算法 和 UserCF 推荐算法) 2.专业美工整体设计的细腻的酷黑主题，前后端分离一体化系统（爬虫→MySQL→Flask→Vue）；
实现影片库搜索，多种Echarts图形分析、jieba分析；
完全移动端自适应，自动可以适配H5移动端；
实现的分析图：交互式时间轴、世界地图、词云、散点图、多种折线图、面积图、大数据图、动画柱状图、饼图、水滴图等。

核心算法代码分享如下：

package com.sql
 
import org.apache.spark.sql.SparkSession
import org.apache.spark.sql.types._
import org.junit.Test
 
import java.util.Properties
 
class MoocSpark2024_FixBug {
  val spark = SparkSession.builder()
    .master("local[6]")
    .appName("在线教育课程数据实时计算V1.0")
    .getOrCreate()
  //课程数仓CSV 模式
  val ods_courses_Schema = StructType(
    List(
      StructField("kw", StringType),
      StructField("cid", StringType),
      StructField("url", StringType),
      StructField("title",StringType),
      StructField("img", StringType),
      StructField("tag", StringType),
      StructField("school",StringType),
      StructField("teacher", StringType),
      StructField("mans", IntegerType),
      StructField("brief", StringType),
      StructField("status", StringType),
      StructField("price", StringType),
      StructField("chapters", StringType),
      StructField("comments_score", FloatType),
      StructField("comments", StringType)
 
    )
  )
 
  val ods_courses_Df = spark.read.option("header", "false").schema(ods_courses_Schema).csv("hdfs://192.168.227.166:9000/mooc2024/ods_courses/edu_course.csv")
 
  //网评数仓CSV 模式
  val ods_comments_Schema = StructType(
    List(
      StructField("kw", StringType),
      StructField("cid", StringType),
      StructField("title", StringType),
      StructField("nickname",StringType),
      StructField("ctime", StringType),
      StructField("csv_txt", StringType),
      StructField("ke",IntegerType),
      StructField("star", IntegerType),
      StructField("url2", StringType),
      StructField("sentiments", FloatType),
      StructField("province", StringType)
 
    )
  )
 
  val ods_comments_Df = spark.read.option("header", "false").schema(ods_comments_Schema).csv("hdfs://192.168.227.166:9000/mooc2024/ods_comments/edu_comments.csv")
 
 
 
 
 
 
  @Test
  def init(): Unit = {
    //school_province_score_Df.show()
    //ods_courses_Df.show()
    ods_comments_Df.show()
    //school_special_score_Df.show()
    //school_Df.show()
    //ruanke_rank_Df.show()
    //qs_world_Df.show()
  }
 
 
 
//  ----剩余使用spark_sql完成
//    ---指标8：课程特色占比
  @Test
  def tables08(): Unit = {
  ods_courses_Df.createOrReplaceTempView("ods_courses")
    val df2 = spark.sql(
      """
                  select tag ,count(1) num
                  from ods_courses
                  group by tag
    """)
    df2
//      .show(50)
     .coalesce(1)
      .write
      .mode("overwrite")
      .option("driver", "com.mysql.cj.jdbc.Driver")
      .option("user", "root")
      .option("password", "123456")
      .jdbc(
        "jdbc:mysql://bigdata:3306/hive_mooc2024?useSSL=false",
        "table08",
        new Properties()
      )
  }
 
 // ---指标9：网络水军词云预警(黑名单)
  @Test
  def tables09(): Unit = {
    ods_comments_Df.createOrReplaceTempView("ods_comments")
    val df2 = spark.sql(
      """
        select nickname,count(1) num
        from ods_comments
        where sentiments <0.5
        group by nickname
        order by num desc
        limit 20
    """)
    df2
      //      .show(50)
      .coalesce(1)
      .write
      .mode("overwrite")
      .option("driver", "com.mysql.cj.jdbc.Driver")
      .option("user", "root")
      .option("password", "123456")
      .jdbc(
        "jdbc:mysql://bigdata:3306/hive_mooc2024?useSSL=false",
        "table09",
        new Properties()
      )
  }
 
 
 
 
}