赞
踩
写在前面:
安装环境:
开始安装:
一:下载安装包
二:上传安装包到CentOS系统并解压
三:本地模式 Local 初体验:
启动本地模式 Spark Shell
体验读取本地数据并计算:
体验读取HDFS数据并计算
四:standalone 集群模式
角色介绍:
集群规划:
修改配置并分发到其他节点
分发到其他节点
启动Spark集群和关闭Spark集群
启动集群式Spark Shell
五:standalone-HA 集群高可用模式
原理:
配置 HA
启动ZK集群
启动Spark HA集群
测试 HA集群
六:on yarn集群模式
准备工作:
Cluster模式 【❤❤❤常用方式❤❤❤】:
示例程序:
client模式[了解]
两种提交方式的区别:
七:Spark参数详解
参数总结:
八:使用IDEA编写Spark程序
1、创建Maven项目
2、本地执行:前提条件你的本机必须配置了Scala并且你的IDEA配置了Scala对应版本的插件
3、集群运行:
不容易,这么长你都看完了赶紧点个赞吧!!!
声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/2023面试高手/article/detail/726765