Spark集群部署_spark 集群部署

作者：我家自动化 | 2024-05-07 20:23:47

踩

spark 集群部署

Spark集群部署

1. 安装环境简介

硬件环境：两台四核cpu、4G内存、500G硬盘的虚拟机。

软件环境：64为Ubuntu12.04 LTS；主机名分别为spark1、spark2，IP地址分别为1**.1*.**.***/***。JDK版本为1.7。集群上已经成功部署了Hadoop2.2，详细的部署过程可以参见另一篇文档Yarn的安装与部署

2. 安装Scala2.9.3

1）在/home/test/spark目录下面运行wget http://www.scala-lang.org/downloads/distrib/files/scala-2.9.3.tgz命令，下载scala的二进制包。

2）解压下载后的文件，配置环境变量：编辑/etc/profile文件，添加如下内容：

export SCALA_HOME=/home/test/spark/scala/scala-2.9.3

export PATH=$SCALA_HOME/bin

3）运行source /etc/profile使环境变量的修改立即生效。在spark2上执行相同的操作，安装scala。

3. 下载编译好的spark文件，地址为：http://d3kbcqa49mib13.cloudfront.net/spark-0.8.1-incubating-bin-hadoop2.tgz。下载后解压。

4. 配置conf/spark-env.sh环境变量，添加如下内容：

export SCALA_HOME=/home/test/spark/scala/scala-2.9.3

5. 在/etc/profile中配置SPARK_EXAMPLES_JAR以及spark的环境变量：添加如下内容：

export SPRAK_EXAMPLES_JAR=/home/test/spark/spark-0.8.1-incubating-bin-hadoop2/examples/target/scala-2.9.3/spark-examples_2.9.3-assembly-0.8.1-incubating.jar

export SPARK_HOME=/home/test/spark/spark-0.8.1-incubating-bin-hadoop2

export PATH=$SPARK_HOME/bin

6. 修改/conf/slaves文件，在文件中添加如下内容：

spark1

spark2

7. 使用scp命令将上述文件拷贝到spark节点的相同路径下面scp -rspark-0.8.1-incubating-bin-hadoop2 test@spark2:/home/test/spark：

8. 在spark1上启动spark集群,并检查进程是否成功启动。如下master和worker已经成功启动。

使用浏览器打开http://1**.**.*.***:8080/，其显示如下所示：

可以看到集群中的两个slave节点已经成功启动。

9. 运行spark自带的例子：./run-exampleorg.apache.spark.examples.SparkPi spark://master:7077，其结果如下所示：

在web界面能看到刚才运行的job如下所示：

参考网站：

1. http://www.yanjiuyanjiu.com/blog/20130617/

2. http://blog.csdn.net/zhanghuizaizhe/article/details/17380411

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/我家自动化/article/detail/551085