热门标签
热门文章
- 1论文阅读：HeadGAN: One-shot Neural Head Synthesis and Editing
- 2如何在 Debian 上安装运行极狐GitLab Runner？【二】
- 3NetCat报错nc: forward host lookup failed: h_errno 11001: HOST_NOT_FOUND
- 4使用VIVADO中的MIG控制DDR3（AXI接口）二——用AXI4读写BRAM测试_axi ddr mig
- 5Java集合-Set详细分析_java set数据结构
- 6安装pycuda遇到错误_pycuda安装失败
- 7C练习——插入有序数组_c语言将元素插入有序数组
- 8stm32f407zgtx 烧录出现问题no target_device: stm32f407zgtx vtarget = 3.283v state of pi
- 9【RAG入门教程04】Langchian的文档切分_recursivecharactertextsplitter
- 10互联网这个圈子，程序员在BAT大厂跟在小厂初创公司的差距有多大_大厂和小厂的人能力区别
当前位置: article > 正文
Spark的关键技术回顾_spark关键技术
作者：Li_阴宅 | 2024-08-08 01:53:09
赞
踩
spark关键技术
文章目录
4、使用Spark-shell的方式也可以交互式写Spark代码？
12、RDD-DataSet和DataFrame的区别和联系？
16、SparkSQL中SQL风格全局Session和局部的Session的差别是什么？
18、[非常重要]SparkSQL如何执行SQL的，SQL的查询引擎
22、SparkStreaming和Kafka的整合，如何获取Offset，010整合
24、生产者生产数据过多，消费者SparkStreaming来不及消费，请问造成什么现象？
Spark的关键技术回顾
一、Spark复习题回顾
1、Spark使用的版本
2.4.5版本，目前3.1.2为最新版本
集群环境：CDH版本是5.14.0这个版本
但由于spark对应的5.14.0的CDH版本的软件默认的版本是1.6.0同时阉割了SarkSQL，需要重新编译
原因： 因为Cloudera公司认为有了impala就不需要再使用sparkSQL的功能了，同时也是为了推广impala，所以直接阉割掉了sparkSQL的模块。
解决： 使用Apache的版本的spark来进行重新编译
2、Spark几种部署方式？
- Local(local[*],所有的cpu cores)
- StandAlone(Master-local)
- StandAloneHA(多个Master)
- Yarn(RS-NM) --client 模式和cluster 模式
声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/Li_阴宅/article/detail/945511
推荐阅读
相关标签
