热门标签
热门文章
- 1多轮对话是否需要改写(文本分类embedded初探)_多轮改写数据集
- 2大数据最全【Verilog HDL】FPGA-testbench基础知识(1)_fpga 基础入门 (一)test bench
- 3本地搭建ChatTTS WebUi_chattts 本地部署
- 4hadoop面试100道收集（带答案）_hadoop面试100道收集(带答案)
- 5轻量化网络：MobileNet-V2_mobilenetv2网络结构
- 6javascript 代码中的“use strict“；是什么意思_use lhtz;代码的意思是:使用 一个叫 的 。
- 7基于 Prometheus 的超算弹性计算场景下主机监控最佳实践
- 8探索微软Edge
- 9微信小程序promise封装_微信小程序 promise封装
- 10【数据结构】二叉树的实现
当前位置: article > 正文
Spark大数据处理讲课笔记4.1 Spark SQL概述、数据帧与数据集
作者：Gausst松鼠会 | 2024-06-09 08:37:32
赞
踩
spark大数据处理讲课笔记4.1
文章目录
零、本讲学习目标
- 了解Spark SQL的基本概念
- 掌握DataFrame的基本概念
- 掌握Dataset的基本概念
- 会基于DataFrame执行SQL查询
在很多情况下，开发工程师并不了解Scala语言，也不了解Spark常用API，但又非常想要使用Spark框架提供的强大的数据分析能力。Spark的开发工程师们考虑到了这个问题，利用SQL语言的语法简洁、学习门槛低以及在编程语言普及程度和流行程度高等诸多优势，从而开发了Spark SQL模块，通过Spark SQL，开发人员能够通过使用SQL语句，实现对结构化数据的处理。
一、Spark SQL
（一）Spark SQL概述
- Spark SQL是Spark用来处理结构化数据的一个模块，它提供了一个编程抽象结构叫做DataFrame的数据模型（即带有Schema信息的RDD），Spark SQL作为分布式SQL查询引擎，让用户可以通过SQL、DataFrames API和Datasets API三种方式实现对结构化数据的处理。
（二）Spark SQL功能
- Spark SQL可从各种结构化数据源中读取数据，进行数据分析。
- Spark SQL包含行业标准的JDBC和ODBC连接方式，因此它不局限于在Spark程序内使用SQL语句进行查询。
- Spark SQL可以无缝地将SQL查询与Spark程序进行结合，它能
声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/Gausst松鼠会/article/detail/693331
推荐阅读
相关标签
