hive on spark 已测，完美搭建_hive3.1.3 编译spark3.2.2

hive on spark 已测，完美搭建

前言

安装包版本
Hadoop-3.1.3
Hive-3.1.2
Spark-3.0.0
最下面可下载博主安装包，已经经过编译，可以避开许多坑

一 、Hive on Spark配置

1）兼容性说明
注意：官网下载的Hive3.1.2和Spark3.0.0默认是不兼容的。因为Hive3.1.2支持的Spark版本是2.4.5，所以需要我们重新编译Hive3.1.2版本。
编译步骤：官网下载Hive3.1.2源码，修改pom文件中引用的Spark版本为3.0.0，如果编译通过，直接打包获取jar包。如果报错，就根据提示，修改相关方法，直到不报错，打包获取jar包，不过上面的链接已经是经过编译的，可以直接拿来使用。
2）在Hive所在节点部署Spark
如果之前已经部署了Spark，则该步骤可以跳过，但要检查SPARK_HOME的环境变量配置是否正确。

二、使用步骤

1.上传并解压解压spark-3.0.0-bin-hadoop3.2.tgz

代码如下（示例）：

[root@node1 software]$ tar -zxvf spark-3.0.0-bin-hadoop3.2.tgz -C /opt/module/
[root@node1 software]$ mv /opt/module/spark-3.0.0-bin-hadoop3.2 /opt/module/spark

1
2
3

2.配置SPARK_HOME环境变量

代码如下（示例）：

[root@node1 software]$ sudo vim /etc/profile.d/my_env.sh
# 添加如下内容
# SPARK_HOME
export SPARK_HOME=/opt/module/spark
export PATH=$PATH:$SPARK_HOME/bin

source 使其生效
[root@node1 software]$ source /etc/profile.d/my_env.sh

1
2
3
4
5
6
7
8
9

3.在hive中创建spark配置文件

1) 添加如下内容（在执行任务时，会根据如下参数执行），如果没有重命名spark-defaults.conf请重命名
[root@node1 software]$ vim /opt/module/hive/conf/spark-defaults.conf
	spark.master                               yarn
	spark.eventLog.enabled                   true
	spark.eventLog.dir                        hdfs://node1:8020/spark-history
	spark.executor.memory                    1g
	spark.driver.memory					   1g

1
2
3
4
5
6
7
8

在HDFS创建如下路径，用于存储历史日志

[root@node1  software]$ hadoop fs -mkdir hdfs://node1:8020/spark-history
1

---

向HDFS上传Spark纯净版jar包

（1）上传并解压spark-3.0.0-bin-without-hadoop.tgz

[root@node1 software]$ tar -zxvf /opt/software/spark-3.0.0-bin-without-hadoop.tgz
1

（2）上传Spark纯净版jar包到HDFS

[root@node1 software]$ hadoop fs -mkdir /spark-jars

[root@node1 software]$ hadoop fs -put spark-3.0.0-bin-without-hadoop/jars/* /spark-jars

1
2
3
4

4.修改hive-site.xml文件

[root@node1 ~]$ vim /opt/module/hive/conf/hive-site.xml
1

添加如下内容

<!--Spark依赖位置（注意：端口号8020必须和namenode的端口号一致）-->
<property>
    <name>spark.yarn.jars</name>
    <value>hdfs://node1:8020/spark-jars/*</value>
</property>
  
<!--Hive执行引擎-->
<property>
    <name>hive.execution.engine</name>
    <value>spark</value>
</property>
1
2
3
4
5
6
7
8
9
10
11

5.Hive on Spark测试

1）启动hive客户端

[root@node1 hive]$ bin/hive
1

（2）创建一张测试表

hive (default)> create table student(id int, name string);
1

（3）通过insert测试效果

hive (default)> insert into table student values(1,'abc');
1

若结果如下，则说明配置成功

总结

本次是对已经有搭建基础的人做讲解，其他组件安装教程后续发布

回复 【hive-spark】