这个屌丝很懒，什么也没留下！

DT大数据梦工厂Spark定制班笔记(008)_scalastyle

作者：很楠不爱3 | 2024-05-21 04:36:41

Spark Streaming源码解读之RDD生成全生命周期彻底研究和思考

DStream是RDD的模板，每隔一个batchInterval会根据DStream模板生成一个对应的RDD。然后将RDD存储到DStream中的generatedRDDs数据结构中。

DStream.scala(86行)

private[streaming]vargeneratedRDDs =newHashMap[Time, RDD[T]]()

用于分析RDD生成的示例代码

 
 val  
 lines  
 =  
 ssc.socketTextStream( 
 "localhost" 
 ,  

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/很楠不爱3/article/detail/600854