RDD 操作_actions操作触发时,会执行 rdd记录的所有运行transformations操作,并计算结果

作者：一键难忘520 | 2024-06-19 12:33:20

踩

actions操作触发时,会执行 rdd记录的所有运行transformations操作,并计算结果,结

RDD Operations：这些操作和Scala的操作几乎一样，就不细说了。
1.transformations：lazy的操作，不能立即计算结果。相反，Spark只记得应用于一些基本数据集（例如文件）的转换。只有当一个动作action需要返回到驱动程序的结果时才计算这些转换。这种设计使Spark能够更高效地运行。
RDDA==>RDDB （A转换到B，这是两个不同的RDD）
且通过记录这些转换过程，若数据丢失，可通过前后的关系恢复数据。

2.Actions：

参考链接：
RDD常用方法之subtract&intersection&cartesian
join操作详解
 Sample和takeSample源码实例详解
 RDD基本操作（上）
RDD基本操作（下）

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/一键难忘520/article/detail/736461?site