spark算子map和flatMap的区别_spark的算子map和fitmap

作者：从前慢现在也慢 | 2024-06-01 04:03:42

踩

spark的算子map和fitmap

首先，看一下map和flatMap在结果上的差异
原始数据都是一个1-5的数组，然后用to方法对里面的每个元素再形成一个数组
在这里插片描述
map算子得到的结果是一个大的数组，里面包含了5个小数组，分别是原数组中每个元素对应形成的数组
在这里插入图片描述
flatMap算子只得到了一个数组，里面装的是原数组中每个元素形成数组后的新的元素

总结：map是对RDD中元素逐一进行函数操作映射为另外一个RDD，而flatMap操作是将函数应用于RDD之中的每一个元素，将返回的迭代器的所有内容构成新的RDD。
flatMap与map区别在于map为“映射”，而flatMap“先映射，后扁平化”，map对每一次（func）都产生一个元素，返回一个对象，而flatMap多一步就是将所有对象合并为一个对象。
在这里插入图片描述

声明：本文内容由网友自发贡献，转载请注明出处：【wpsshop】