spark SQL、Dataframe、Dataframe 和 RDD 的区别、spark SQL WordCount

目录

• 首先让我们来回顾一下 spark 的生态系统
• spark SQL
• Dataframe
• Dataframe 和 RDD 的区别
• spark SQL WordCount

首先让我们来回顾一下 spark 的生态系统

spark SQL

Dataframe

与RDD类似，DataFrame也是一个分布式数据容器。然而DataFrame更像传统数据库的二维表格，除了数据以外，还掌握数据的结构信息，即schema。同时，与Hive类似，DataFrame也支 持嵌套数据类型(struct、array和map)。从API易用性的角度上看，DataFrame API提供的是 一套高层的关系操作，比函数式的RDD API要更加友好，门槛更低。由于与R和Pandas的 DataFrame类似，S