大数据Spark电影评分数据分析_spark分析电影评分数据集(1)_评分系统 数据分析

先自我介绍一下，小编浙江大学毕业，去过华为、字节跳动等大厂，目前阿里P7

深知大多数程序员，想要提升技能，往往是自己摸索成长，但自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！

因此收集整理了一份《2024年最新大数据全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友。

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！

由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新

如果你需要这些资料，可以添加V获取：vip204888 （备注大数据）

正文

| movieId, ROUND(AVG(rating), 2) AS avg_rating, COUNT(movieId) AS cnt_rating
|FROM
| view_temp_ratings
|GROUP BY
| movieId
|HAVING
| cnt_rating > 2000
|ORDER BY
| avg_rating DESC, cnt_rating DESC
|LIMIT
| 10
“”".stripMargin)
//top10MovieDF.printSchema()
top10MovieDF.show(10, truncate = false)

> 
> 应用scala的stripMargin方法，在scala中stripMargin默认是“|”作为出来连接符，在多行换行的行头前面加一个“|”符号即可。
> 
> 
> 代码实例：
> 
> 
> val speech = “”"abc
> 
> 
> |def"“”.stripMargin
> 
> 
> 运行的结果为：
> 
> 
> abc
> 
> 
> ldef
> 
> 
> 


运行程序结果如下：  
 ![在这里插入图片描述](https://img-blog.csdnimg.cn/17cf5f363fc94604a24f9f443f92c88e.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1pHTF9jeXk=,size_16,color_FFFFFF,t_70)


## 3 使用 DSL 分析


调用Dataset中函数，采用链式编程分析数据，核心代码如下：



1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38

// TODO: 基于DSL=Domain Special Language（特定领域语言） 分析

import org.apache.spark.sql.functions._

val resultDF: DataFrame = ratingsDF
// 选取字段
.select($“movieId”, $"rating")//分组：按照电影ID，获取平均评分和评分次数.grou$