Spark Standalone 集群配置

作者：凡人多烦事01 | 2024-02-12 16:59:58

踩

平时工作中主要用 YARN 模式，最近进行TPC测试用到了 Standalone 模式，便记录总结一下 Standalone 集群相关的配置。

Spark 支持三种集群管理类型：

Standalone - Spark附带的一个简单的集群管理器，可以轻松地设置集群。
Apache Mesos - 一个通用的集群管理器，也可以运行HadoopMapReduce和服务应用程序。（已弃用）
Hadoop YARN - Hadoop 3中的资源管理器。
Kubernetes - 一个用于自动化容器化应用程序的部署、扩展和管理的开源系统。
官方文档：https://spark.apache.org/docs/latest/cluster-overview.html

因为TPC不支持 Spark3 ,所以用的 Spark2.4.8

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/凡人多烦事01/article/detail/78087