spark的词频统计之后作升序或者降序排序_spark单词计数并降序排列

作者：小蓝xlanll | 2024-02-18 18:19:41

踩

spark单词计数并降序排列

scala> b.map((_,1)).reduceByKey(_+_).collect
res26: Array[(String, Int)] = Array((hive,1), (spark,3), (jeff,2), (ruoze,1), (hadoop,1), (hi,1))

现有这样的一个已经做好wordcount的RDD，对其进行排序

升序：

scala> b.map((_,1)).reduceByKey(_+_).sortBy(_._2).collect
res29: Array[(String, Int)] = Array((hive,1), (ruoze,1), (hadoop,1), (hi,1), (jeff,2), (spark,3))

降序：

scala> b.map((_,1)).reduceByKey(_+_).sortBy(_._2,false).collect
res30: Array[(String, Int)] = Array((spark,3), (jeff,2), (hive,1), (ruoze,1), (hadoop,1), (hi,1))

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/小蓝xlanll/article/detail/109684