Spark安装及部署_spark3.1 spark-env.sh配置

Spark安装及部署

一、安装Spark（Yarn模式）

1、上传解压

选择不带hadoop依赖的 spark-3.3.1-bin-without-hadoop.tgz

1）官网地址：http://spark.apache.org/

2）文档查看地址：https://spark.apache.org/docs/3.3.1/

3）下载地址：https://spark.apache.org/downloads.html

https://archive.apache.org/dist/spark/

[xxx@hadoop102 software]$

tar -zxvf spark-3.3.1-bin-without-hadoop.tgz -C /opt/module/

2、改名

[xxx@hadoop102 module]$

mv /opt/module/spark-3.3.1-bin-without-hadoop /opt/module/spark

3、修改配置文件

（1）yarn-site.xml

[xxx@hadoop102 hadoop]$ vim yarn-site.xml

添加如下内容

<!--是否启动一个线程检查每个任务正使用的物理内存量，如果任务超出分配值，则直接将其杀掉，默认是true -->
<property>
     <name>yarn.nodemanager.pmem-check-enabled</name>
     <value>false</value>
</property>

<!--是否启动一个线程检查每个任务正使用的虚拟内存量，如果任务超出分配值，则直接将其杀掉，默认是true -->
<property>
     <name>yarn.nodemanager.vmem-check-enabled</name>
     <value>false</value>
</property>

1
2
3
4
5
6
7
8
9
10
11
12

（2）conf/spark-env.sh

[xxx@hadoop102 conf]$

mv spark-env.sh.template spark-env.sh

[xxx@hadoop102 conf]$ vim spark-env.sh

添加YARN_CONF_DIR配置，保证后续运行任务的路径都变成集群路径

添加：（注意：要和hadoop目录名对应）

YARN_CONF_DIR=/opt/module/hadoop-3.3.1/etc/hadoop
1

4、配置历史服务

1）修改spark-default.conf.template名称

[xxx@hadoop102 conf]$

mv spark-defaults.conf.template spark-defaults.conf

2）修改spark-default.conf文件，配置日志存储路径（写）

[xxx@hadoop102 conf]$ vim spark-defaults.conf

spark.eventLog.enabled          true

spark.eventLog.dir               hdfs://hadoop102:8020/directory
1
2
3

3）修改park-env.sh文件

[xxx@hadoop102 conf]$ vim spark-env.sh

添加如下配置：

export SPARK_HISTORY_OPTS="

-Dspark.history.ui.port=18080 

-Dspark.history.fs.logDirectory=hdfs://hadoop102:**8020**/directory 

-Dspark.history.retainedApplications=30"
1
2
3
4
5
6
7

4）创建历史服务器的文件夹：

[xxx@hadoop102 spark-yarn]$

hadoop fs -mkdir /directory

5）配置spark历史服务器关联路径

（1）/opt/module/spark-yarn/conf/spark-defaults.conf

添加如下内容：

spark.yarn.historyServer.address=hadoop102:18080

spark.history.ui.port=18080
1
2
3

（2）如果在Yarn上仍无法看到Spark历史服务

在yarn-site.xml中添加如下配置并启动Yarn历史服务器

<property>
    <name>yarn.log.server.url</name>
    <value>http://hadoop102:19888/jobhistory/logs</value>
</property>

1
2
3
4
5

6）避免OOM，调大Hive堆内存

[xxx@hadoop102 conf]$ cd $HIVE_HOME/conf

[xxx@hadoop102 conf]$ cp hive-env.sh.template hive-env.sh

修改 hive-env.sh，将 Hive 堆内存改为 2048M，如下。

export HADOOP_HEAPSIZE=2048
1

二、Hive On Spark

1、Hive环境搭建

（1）修改spark-env.sh配置文件

[xxx@hadoop102 software]$

vim /opt/module/spark/conf/spark-env.sh

增加如下内容。

export SPARK_DIST_CLASSPATH=$(hadoop classpath)
1

（2）配置Spark环境变量

[xxx@hadoop102 software]$

sudo vim /etc/profile.d/my_env.sh

添加如下内容。

# SPARK_HOME

export SPARK_HOME=/opt/module/spark

export PATH=$PATH:$SPARK_HOME/bin
1
2
3
4
5

source 使其生效。

[xxx@hadoop102 software]$

source /etc/profile.d/my_env.sh

（3）在hive中创建spark配置文件

[xxx@hadoop102 software]$

vim /opt/module/hive/conf/spark-defaults.conf

添加如下内容（在执行任务时，会根据如下参数执行）。

spark.master                               yarn
spark.eventLog.enabled                   true
spark.eventLog.dir                        hdfs://hadoop102:8020/spark-history
spark.executor.memory                    1g
spark.driver.memory                    1g
1
2
3
4
5

在HDFS创建如下路径，用于存储历史日志。

[xxx@hadoop102 software]$

hadoop fs -mkdir /spark-history

（4）向HDFS上传Spark纯净版jar包

​ 说明1：采用Spark纯净版jar包，不包含hadoop和hive相关依赖，能避免依赖冲突。

​ 说明2：Hive任务最终由Spark来执行，Spark任务资源分配由Yarn来调度，该任务有可能被分配到集群的任何一个节点。所以需要将Spark的依赖上传到HDFS集群路径，这样集群中任何一个节点都能获取到。

[xxx@hadoop102 software]$

hadoop fs -mkdir /spark-jar

[xxx@hadoop102 software]$

hadoop fs -put /opt/module/spark/jars/* /spark-jars

（5）修改hive-site.xml文件

添加如下内容：

<!--Spark依赖位置（注意：端口号8020必须和namenode的端口号一致）-->

<property>

   <name>spark.yarn.jars</name>

   <value>hdfs://hadoop102:8020/spark-jars/*</value>

</property>

  

<!--Hive执行引擎-->

<property>

    <name>hive.execution.engine</name>

    <value>spark</value>

</property>
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21

2、Yarn环境配置

（1）增加ApplicationMaster资源比例

hadoop102的**/opt/module/hadoop/etc/hadoop/capacity-scheduler.xml**

[xxx@hadoop102 hadoop]$ vim capacity-scheduler.xml

<property>
    <name>yarn.scheduler.capacity.maximum-am-resource-percent</name>
    <value>0.8</value>
</property

1
2
3
4
5

（2）分发capacity-scheduler.xml

[xxx@hadoop102 hadoop]$ xsync capacity-scheduler.xml

（3）连接外部开发工具开启metastore

不要使用hiveserver2，容易掉！！！

[xxx@hadoop102 ~]$ nohup hive --service metastore &