当前位置:   article > 正文

小节测验_在 pyspark 中读取 linux 系统本地文件 /data/bigfiles/data.txt

在 pyspark 中读取 linux 系统本地文件 /data/bigfiles/data.txt,该数据集包含了

第1关:第一题

任务描述
本关任务:根据编程要求,完成任务。

编程要求
打开右侧代码文件窗口,在 Begin 至 End 区域补充代码,完成任务。

在 pyspark 中读取 Linux 系统本地文件 /data/bigfiles/data.txt,该数据集包含了某大学计算机系的成绩,数据格式如下所示:

Tom,DataBase,80
Tom,Algorithm,50
Tom,DataStructure,60
Jim,DataBase,90
Jim,Algorithm,60
Jim,DataStructure,80
……
第一列为学生姓名,第二列为课程名称,第三列为课程成绩。

统计该系总共有多少名学生,直接打印输出统计的结果。

输出示例如下:

该系共有学生:n 人
测试说明
平台将对你编写的代码进行评测,如果与预期结果一致,则通关,否则测试失败。

开始你的任务吧,祝你成功!

from pyspark import SparkContext
################ Begin ################
# 创建SparkContext对象
sc = SparkContext("local"
  • 1
  • 2
  • 3
声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/weixin_40725706/article/detail/499012
推荐阅读
相关标签
  

闽ICP备14008679号