赞
踩
查阅资料得知该问题大部分是环境变量配置出了问题,我就输入以下命令进入配置文件检查自己的环境变量配置:
[root@node03 ~]# vi /etc/profile
检查发现自己的hive配置没有问题 ,于是我就退出,然后更新了配置文件,更新命令如下
[root@node03 ~]# source /etc/profile
再次启动hive命令,成功运行,那么问题原因找到了:修改环境变量配置文件后没有进行更新。
重要的事情说N遍: 修改环境变量配置后记得执行更新命令
以下操作需要在linux上已经完成ZooKeeper,HaDoop-HDFS,Hadoop-Yarn三项的搭建,我这里在linux上准备了三个节点node01,node02,node03,并且三个节点都已经完成上述三项的搭建。
仅作流程梳理,不进行细节展开 。
上传至node01:/root/目录,执行以下命令
-
- # 本命令是解压该压缩安装包解压至指定的/opt/wjx/目录下
- [root@node01 ~]# tar -zxvf apache-hive-3.1.2-bin.tar.gz -C /opt/wjx/
- # 该命令是删除压缩包
- [root@node01 ~]# rm apache-hive-3.1.2-bin.tar.gz -rf
3.2.1 、hive-env.sh
输入以下命令进入文件:
- # hive-env.sh是hive-env.sh.template复制后的文件名
- [root@node01 ~]# cd /opt/wjx/apache-hive-3.1.2-bin/conf/
- [root@node01 conf]# cp hive-env.sh.template hive-env.sh
- [root@node01 conf]# vim hive-env.sh
进入文件后末尾添加以下配置信息:
- HADOOP_HOME=/opt/wjx/hadoop-3.3.4/
- export HIVE_CONF_DIR=/opt/wjx/apache-hive-3.1.2-bin/conf
- export HIVE_AUX_JARS_PATH=/opt/wjx/apache-hive-3.1.2-bin/lib
3.2.2 、改hive-site.xml
- # 以下命令进入文件
- [root@node01 conf]# cp hive-default.xml.template hive-site.xml
- [root@node01 conf]# vim hive-site.xml
将原先<configuration> </configuration> 的内容删除,删除技巧:先按ESC,退出编辑模式,然后按G到最后一行,再敲击显示行号命令
:set nu
然后查看</configuration>标签所在行号:假如是6720,再返回到最初 <configuration>地方,快速返回某一行命令:
:19(数字是想返回的行号)
然后光标点在第19行,键盘敲6701dd,就删除了6701行数据。
删除原代码后在<configuration> </configuration>里面添加以下代码
- <property>
- <name>javax.jdo.option.ConnectionURL</name>
- <value>jdbc:mysql://node01:3306/hive?createDatabaseIfNotExist=true</value>
- </property>
- <property>
- <name>javax.jdo.option.ConnectionDriverName</name>
- <value>com.mysql.cj.jdbc.Driver</value>
- </property>
- <property>
- <name>javax.jdo.option.ConnectionUserName</name>
- <value>root</value>
- </property>
- <property>
- <name>javax.jdo.option.ConnectionPassword</name>
- <value>123456</value>
- </property>
- <property>
- <name>datanucleus.schema.autoCreateAll</name>
- <value>true</value>
- </property>
- <property>
- <name>hive.metastore.schema.verification</name>
- <value>true</value>
- </property>
- <property>
- <name>hive.cli.print.header</name>
- <value>true</value>
- </property>
- <property>
- <name>hive.cli.print.current.db</name>
- <value>true</value>
- </property>
- <property>
- <name>hive.metastore.warehouse.dir</name>
- <value>/hive/warehouse</value>
- </property>
- <property>
- <name>hive.server2.webui.host</name>
- <value>node01</value>
- </property>
- <property>
- <name>hive.server2.webui.port</name>
- <value>10002</value>
- </property>
- <property>
- <name>hive.metastore.uris</name>
- <value>thrift://node01:9083</value>
- </property>
3.2.3 、改core-site.xml
[root@node01 conf]# vim /opt/wjx/hadoop-3.3.4/etc/hadoop/core-site.xml
在<configuration> </configuration>里面添加以下代码
- <property>
- <name>hadoop.proxyuser.root.hosts</name>
- <value>*</value>
- </property>
- <!-- 通过 httpfs 接口访问的用户获得的群组身份 -->
- <!-- 配置允许通过 httpfs 方式访问的客户端的用户组 -->
- <property>
- <name>hadoop.proxyuser.root.groups</name>
- <value>*</value>
- </property>
3.3.1、创建日志目录
- [root@node01 conf]# mkdir /opt/wjx/apache-hive-3.1.2-bin/logs
- [root@node01 conf]# cp hive-log4j2.properties.template hive-log4j2.properties
- [root@node01 conf]# vim hive-log4j2.properties
3.3.2、进入hive-log4j2.properties文件修改代码:
将这行代码------property.hive.log.dir = ${sys:java.io.tmpdir}/${sys:user.name} 替换为:
property.hive.log.dir = /opt/wjx/apache-hive-3.1.2-bin/logs
就是把这个mysql-connector-java-8.0.18.jar放在node01节点下pache-hive-3.1.2-bin/lib/目录下
- [root@node02 ~]# scp -r root@node01:/opt/wjx/apache-hive-3.1.2-bin /opt/wjx/
- [root@node03 ~]# scp -r root@node01:/opt/wjx/apache-hive-3.1.2-bin /opt/wjx/
- [root@node01 ~]# scp /opt/wjx/hadoop-3.3.4/etc/hadoop/core-site.xml root@node02:/opt/wjx/hadoop-
- 3.3.4/etc/hadoop/
- [root@node01 ~]# scp /opt/wjx/hadoop-3.3.4/etc/hadoop/core-site.xml root@node03:/opt/wjx/hadoop-
- 3.3.4/etc/hadoop/
(这一步的操作需要在三个节点都进行一次)
- [root@node01 ~]# vim /etc/profile
- [root@node02 ~]# vim /etc/profile
- [root@node03 ~]# vim /etc/profile
3.6.1、执行命令后三个节点都添加以下内容
- export HIVE_HOME=/opt/wjx/apache-hive-3.1.2-bin
- export PATH=$HIVE_HOME/bin:$PATH
3.6.2、执行命令后三个节点都保存退出并执行以下更新命令
- [root@node01 ~]# source /etc/profile
- [root@node02 ~]# source /etc/profile
- [root@node03 ~]# source /etc/profile
Copyright © 2003-2013 www.wpsshop.cn 版权所有,并保留所有权利。