当前位置:   article > 正文

Spark常用算子详解汇总 : 实战案例、Java版本、Scala版本_spark算子综合案例 - java篇

spark算子综合案例 - java篇

官网API地址:

JavaRDD:http://spark.apache.org/docs/latest/api/scala/index.html#org.apache.spark.api.java.JavaRDD 
JavaPairRDD:http://spark.apache.org/docs/latest/api/scala/index.html#org.apache.spark.api.java.JavaPairRDD

RDD:http://spark.apache.org/docs/latest/api/scala/index.html#org.apache.spark.rdd.RDD 
PairRDDFunctions:http://spark.apache.org/docs/latest/api/scala/index.html#org.apache.spark.rdd.PairRDDFunctions

Spark算子[01]:foreach,foreachPartition 

Spark算子[02]:coalesce,repartition 

Spark算子[03]:mapPartitions,mapPartitionsWithIndex 源码实战案例分析 

Spark算子[04]:map,flatMap,mapToPair,flatMapToPair 

Spark算子[05]:parallelize,makeRDD,textFile 

Spark算子[06]:union,distinct,cartesian,intersection,subtract 

Spark算子[07]:reduce,reduceByKey,count,countByKey 

Spark算子[08]:combineByKey详解 

Spark算子[09]:aggregateByKey、aggregate详解

Spark算子[10]:foldByKey、fold 源码实例详解 

Spark算子[11]:reduce、aggregate、fold 详解 

Spark算子[12]:groupByKey、cogroup、join、lookup 源码实例详解 

Spark算子[13]:sortByKey、sortBy、二次排序 源码实例详解 

Spark算子[14]:top、takeOrdered 源码实例详解 

Spark算子[15]:sample、takeSample 源码实例详解 

Spark算子[16]:subtractByKey、join、rightOuterJoin、leftOuterJoin 实例详解 

Spark算子[17]:zip、zipPartitions、zipWithIndex、zipWithUniqueId 实例详解 

Spark算子[18]:saveAsTextFile、saveAsObjectFile 源码实例详解 

Spark算子[19]:saveAsHadoopFile、saveAsNewAPIHadoopFile 源码实例详解 

Spark算子[20]:saveAsHadoopDataset、saveAsNewAPIHadoopDataset 实例详解


原文:https://blog.csdn.net/leen0304/article/details/78836073 

声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/IT小白/article/detail/670634
推荐阅读
相关标签
  

闽ICP备14008679号