hive on spark配置方案详解_hive on spark 配置

一、安装hive-on-spark客户端
1、下载已编译好的spark安装包：sparkengine-2.3.4.tgz。
2、将该spark客户端，放到/usr/hdp/3.1.0.0-78/hive目录下，命名为sparkengine。只需要部署在hiveserver2节点即可。
3、配置conf/spark-default.conf和spark-env.sh

conf/spark-env.sh中增加：
export HADOOP_CONF_DIR=/usr/hdp/3.1.0.0-78/hadoop/conf
export SPARK_DIST_CLASSPATH=$(hadoop classpath)

conf/spark-defaults.conf中增加：
spark.driver.extraJavaOptions -Dhdp.version=3.1.0.0-78
spark.yarn.am.extraJavaOptions -Dhdp.version=3.1.0.0-78

增加一个conf/java-opts文件：
echo “-Dhdp.version=3.1.0.0-78” >conf/java-opts

二、配置yarn的资源调度器
yarn.resourcemanager.scheduler.class=org.apache.hadoop.yarn.server.resourcemanager.scheduler.fair.FairScheduler

三、配置hive：只需要部署在hiveserver2节点上即可。
1、在/usr/hdp/3.1.0.0-78/hive/lib中添加spark2的依赖包
sudo cp sparkengine-2.3.4/jars/scala-library*.jar hive/lib/
sudo cp sparkengine-2.3.4/jars/spark-core*.jar hive/lib/
sudo cp sparkengine-2.3.4/jars/spark-network-common*.jar hive/lib/

2、修改hive配置文件
（1）、在高级hive-env中配置spark-home：
export SPARK_HOME=${HIVE_HOME}/sparkengine-2.3.4

如果不设置SPARK_HOME，会使用HDP默认的SparkSubmit命令来提交job。
##INFO [HiveServer2-Background-Pool: Thread-4928]: client.SparkClientImpl (