Spark----Cluster模式（standalone和Spark on Yarn）的安装配置_spark standalone 模式与spark on yarn 模式

Cluster模式

standalone，Yarn，Messos（国内很少用）
说明

• 如果现有的集群框架中存在MR的相关应用，同时相关的MR无法转换为Spark应用的，集群选型为Spark On Yarn；
• 如果现有的集群框架中只有Spark应用，那么建议采用spark Standalone模式；
• spark可以运行在不同的计算引擎上，所以集群模式安装分不同种情况：
  说明：spark的Standalone模式和Spark on Yarn占比较多。

spark的standalone集群模式安装

【standalone：由spark自己来完成资源的管理与调度】
standalone：主从架构 ---- >master worker

1. 复制三个文件,并修改：

cp spark-env.sh.template spark-env.sh

添加以下内容，master节点是Master(主) 注意："="附近无空格：

export JAVA_HOME=/home/wyc/apps/jdk
export SPARK_MASTER_HOST=master
export SPARK_MASTER_PORT=7077
1
2
3
4
5
6
7

cp slaves.template slaves

添加工作节点(Worker 从节点)，如下：

slave1
slave2
slave3

（注意：
需要注释或删除原内容：localhost，否则运行start-slaves.sh会提示错误，但无影响）
1
2
3
4
5
6
7
8
9
10

cp spark-defaults.conf.template spark-defaults.conf

留着备用
1
2
3

2. 远程scp复制spark安装目录至其它节点：slave1、slave2和slave3，并创建软链接

scp -r ~/apps/spark-2.1.2-bin-hadoop2.7/ wyc@slave1:/home/wyc/apps/
scp -r ~/apps/spark-2.1.2-bin-hadoop2.7/ wyc@slave2:/home/wyc/apps/
scp -r ~/apps/spark-2.1.2-bin-hadoop2.7/ wyc@slave3:/home/wyc/apps/

ln -s spark-2.1.2-bin-hadoop2.7 spark    //在Slave1节点上
ln -s spark-2.1.2-bin-hadoop2.7 spark    //在Slave2节点上
ln -s spark-2.1.2-bin-hadoop2.7 spark    //在Slave3节点上
1
2
3
4
5
6
7

3. 分别修改slave