当前位置:   article > 正文

解决value sortByKey is not a member of org.apache.spark.rdd.RDD[Any, org.apache.spark.sql.Row]报错!!_reducebykey is not a member of

reducebykey is not a member of

所用的软件版本:

spark2.3.0

hbase1.4.6

IDEA2019.1

输入数据源是多行的json格式的数据, 利用如下代码进行处理:

  1. val session = SparkSession.builder().getOrCreate()
  2. import session.implicits._
  3. val DF = session.read.json("e:/test.json")
  4. val res = DF.rdd.map(x => (x(11), x)).map(x => (x._2, x._1))
  5. res.sortByKey(false)

DF是sql.DataFrame类型,DF.rdd直接转换成RDD[row]类型,然后直接利用val res = DF.rdd.map(x => (x(11), x)).map(x => (x._2, x._1)),转换成Tuple2(key, value)格式,利用sortByKey进行排序,但是却弹出报错"value sortByKey is not a member of org.apache.spark.rdd.RDD[Any, org.apache.spark.sql.Row]",照着提示说明,key不能是Any类型,因此需要自定义一个key进行解决。

声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/喵喵爱编程/article/detail/899616
推荐阅读
相关标签
  

闽ICP备14008679号