【spark-Spark编程-笔记2】sc.textFiIe、mapValues、KeyBy、groupByKey、reduceByKey、计算每个学生总成绩_spark mapvalues()

目录

map

mapValues

KeyBy

groupByKey

reduceByKey

计算每个学生的总成绩

---

map

map是对RDD 中的每个元素都执行一个指定的函数来产生一个新的RDD

例一：创建一个RDD

rdd.map（（分割split(并提取第一个元素0），全部元素x））

rdd.map（（分割split并计算长度，全部元素x））

查看键

查看值

例二：创建一个RDD，以空格分割出第一个单词为键，看键看值

例三：创建一个RDD

mapValues

是mapValues是对每个元素的values整体进行的操作

同理：

keyBy

设置键 

提取每个元素第一个字母（头部head）作为键

第二种方法：

groupByKey（统计） 

统计表中长度为3的单词有哪几个

reduceByKey（算数）

计算相同键的值总和为多少

计算相同键不同值的乘积

有三个不同值的键时

计算每个学生的总成绩

1、直接读取文件创建RDD（sc.textFile）

2、将两个成绩表的RDD中的数据进行转换（map）

每条数据被分割成三列，储存为三元组格式（split）

成绩要求转换为Int形式（toInt）

3、取两个表中的学号列和成绩列（map）

4、合并两个表（union）

5、将表中相同学号的成绩进行相加（reduceByKey）