大数据-81 Spark 安装配置环境 集群环境配置 超详细 三台云服务器

点一下关注吧！！！非常感谢！！持续更新！！！

目前已经更新到了：

• Hadoop（已更完）
• HDFS（已更完）
• MapReduce（已更完）
• Hive（已更完）
• Flume（已更完）
• Sqoop（已更完）
• Zookeeper（已更完）
• HBase（已更完）
• Redis （已更完）
• Kafka（已更完）
• Spark（正在更新！）

章节内容

上节我们完成了：

• Spark 简单介绍
• Spark 的特点
• Spark 与 Hadoop MapReduce 框架对比
• Spark的系统架构
• Spark的部署模式

下载文件

我们到官方地址下载：

https://archive.apache.org/dist/spark/
1

页面如下，为了保证稳定和学习的方便，我用了比较老的版本：2.4.5

我们选择：without-hadoop-scala 这种版本，可以不用安装配置 Scala：

https://archive.apache.org/dist/spark/spark-2.4.5/spark-2.4.5-bin-without-hadoop-scala-2.12.tgz
1

解压配置

我们可以使用 wget 或者其他工具来完成文件的下载，我这里是传到服务器上：

cd /opt/software/
wget https://archive.apache.org/dist/spark/spark-2.4.5/spark-2.4.5-bin-without-hadoop-scala-2.12.tgz
1
2

下载完成后，我们进行解压并移动到指定位置：

cd /opt/software/
tar zxvf spark-2.4.5-bin-without-hadoop-scala-2.12.tgz
1
2

移动目录到servers下（之前的规范）：

mv spark-2.4.5-bin-without-hadoop-scala-2.12 ../servers
1

环境变量

vim /etc/profile
# spark
export SPARK_HOME=/opt/servers/spark-2.4.5-bin-without-hadoop-scala-2.12
export PATH=$PATH:$SPARK_HOME/bin
1
2
3
4

配置完的结果，记得刷新环境变量

修改配置

cd $SPARK_HOME/conf
1

slaves

mv slaves.template slaves
vim slaves

# 集群地址
h121.wzk.icu
h122.wzk.icu
h123.wzk.icu
1
2
3
4
5
6
7

配置完的样子大概如下：

spark-defaults

mv spark-defaults.conf.template spark-defaults.conf
vim spark-defaults.conf

# 修改配置的信息
spark.master spark://h121.wzk.icu:7077
spark.eventLog.enabled true
spark.eventLog.dir hdfs://h121.wzk.icu:9000/spark-eventLog
spark.serializer org.apache.spark.serializer.KryoSerializer
spark.driver.memory 512m
1
2
3
4
5
6
7
8
9

配置完的结果如下图：

创建HDFS目录

hdfs dfs -mkdir /spark-eventLog
1

spark-env

mv spark-env.sh.template spark-env.sh
vim spark-env.sh

# 修改如下的配置内容
export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64
export HADOOP_HOME=/opt/servers/hadoop-2.9.2
export HADOOP_CONF_DIR==/opt/servers/hadoop-2.9.2/etc/hadoop
export SPARK_DIST_CLASSPATH=$(/opt/servers/hadoop-2.9.2/bin/hadoop classpath)
export SPARK_MASTER_HOST=h121.wzk.icu
export SPARK_MASTER_PORT=7077
1
2
3
4
5
6
7
8
9
10

配置完成截图如下：

分发软件

传输文件

使用我们之前编写的 rsync-script 工具。当然你也可以每台都配置一次也行，只要保证环境一致即可。
（之前Hadoop等都使用过，如果你没有，你可以用复制或者别的方式）

rsync-script /opt/servers/spark-2.4.5-bin-without-hadoop-scala-2.12
1

过程会很漫长，请耐心等待：

文件传输分发完毕：

环境变量

每天机器都需要配置环境变量！！！

/etc/profile
1

h122 服务器

h123 服务器