赞
踩
所用的软件版本:
spark2.3.0
hbase1.4.6
IDEA2019.1
输入数据源是多行的json格式的数据, 利用如下代码进行处理:
- val session = SparkSession.builder().getOrCreate()
- import session.implicits._
- val DF = session.read.json("e:/test.json")
- val res = DF.rdd.map(x => (x(11), x)).map(x => (x._2, x._1))
- res.sortByKey(false)
DF是sql.DataFrame类型,DF.rdd直接转换成RDD[row]类型,然后直接利用val res = DF.rdd.map(x => (x(11), x)).map(x => (x._2, x._1)),转换成Tuple2(key, value)格式,利用sortByKey进行排序,但是却弹出报错"value sortByKey is not a member of org.apache.spark.rdd.RDD[Any, org.apache.spark.sql.Row]",照着提示说明,key不能是Any类型,因此需要自定义一个key进行解决。
Copyright © 2003-2013 www.wpsshop.cn 版权所有,并保留所有权利。