5.7 Spark简单算子案例（Python版）_第1关:wordcount词频统计

第一关 WordCount - 词频统计

• 编程要求

1. 对文本文件内的每个单词都统计出其出现的次数。
2. 按照每个单词出现次数的数量，降序排序。

        文本文件内容如下（单词与单词之间以空格进行分割）：

hello java

hello python java

hello python python

hello flink

scala scala scala scala scala

        预期输出： (scala,5) (hello,4) (python,3) (java,2) (flink,1) 

• 代码实现

# -*- coding: UTF-8 -*-
from pyspark import SparkContext
 
if __name__ == "__main__":
 
    """
        需求：对本地文件系统URI为：/root/wordcount.txt 的内容进行词频统计
    """
    # ********** Begin **********#
 
    sc = SparkContext("local","pySpark")
    rdd = sc.textFile("/root/wordcount.txt