在Hadoop集群的基础上搭建Spark全分布集群

作者：IT小白 | 2024-05-03 00:36:40

踩

由于我们是在Hadoop集群的基础上搭建Spark 集群，所有可以省略以下步骤：

1.配置网络

2.修改主机名

3.将主机名与IP绑定

4.配置免密

Hadoop全分布式集群搭建http://t.csdnimg.cn/ZxKyM

下载并上传安装包到目录/home/zxa/software下

切换到目录/home/zxa/software下，并解压安装包：

解压后的目录名字太长，重命名一下：

切换目录至spark的安装目录/home/zxa/software/spark的conf目录下，将文件spark-env.sh.template 复制一份并且重命名为spark-env.sh，将文件workers.template复制一份并且重命名为workers

使用命令vim spark-env.sh编辑内容：

使用命令vim workers编辑内容：

修改spark环境变量，可在任意目录下执行vim ~/.bash_profile编辑配置文件，编辑完成以后必须执行source ~/.bash_profile 使其生效

内容如下：

另外两个从节点的配置与主节点一样，所有使用远程复制scp将spark和~/.bash_profile复制到HadoopSlave1和HadoopSlave2即可。

复制~/.bash_profile到两个从节点的 ~/ 下：

复制spark至从节点HadoopSlave1的/home/zxa/software下：

复制spark至从节点HadoopSlave2的/home/zxasoftware下：

切换目录到spark下的sbin目录下，因为spark的启动命令与Hadoop一致，为了避免冲突，我们在spark的sbin目录下输入命令 ./spark-all.sh 以启动spark集群：

./spark-all.sh （只需在主机执行）启动spark集群，jps查看主节点的服务进程是否启动了。

查看从节点HadoopSlave1的服务进程

查看从节点HadoopSlave2的服务进程

通过浏览器访问端口查看主节点状态，主节点的IP地址加上8080（192.168.43.110:8080)

冒号：必须是英文的

至此，spark完全分布式集群搭建成功！

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/IT小白/article/detail/526881