当前位置:   article > 正文

Spark RDD 练习题(一)

spark rdd题目
Tom,DataBase,80
Tom,Algorithm,50
Tom,DataStructure,60
Jim,DataBase,90
Jim,Algorithm,60
Jim,DataStructure,80
……
 
(1) 该系总共有多少学生;

scala> val rdd = sc.textFile("/testfile/chapter5-data1.txt")

// 切分每一行,取到第一个name元素组成新的RDD

scala> val nameRDD = rdd.map(row => row.split(",")(0))
// 去重

scala> val result = nameRDD.distinct()
// 统计总数

scala> result.count
res10: Long = 265

 
(2)该系共开设来多少门课程;

scala> val classRDD = rdd.map(row => row.split(",")(1))

scala> val result = classRDD.distinct()

scala> result.count
res11: Long = 8

 

 

(3) Tom 同学的总成绩平均分是多少;
 
 
 
 
 
 
 

转载于:https://www.cnblogs.com/yaoyu19960106/p/11064437.html

声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/繁依Fanyi0/article/detail/819881
推荐阅读
相关标签
  

闽ICP备14008679号