麒麟操作系统-04-Hive3.1.2安装与部署_apache-hive-3.1.2-bin.tar.gz

麒麟操作系统-04-Hive3.1.2安装与部署

在大数据平台的搭建过程中，我们安装完成Hadoop之后，接着安装Hive。

这里版本选择，是因为Hive 3.1.2相对于之前的版本，在查询性能、事务能力、SQL标准支持等方面均有不小的改进和优化，是一个更加稳定、高效的版本。

话不多说，上干货。

按照顺序看到这里的话，应该知道，所有的安装包上传到software，解压到server。再次提醒。

1、解压：

tar -zxvf apache-hive-3.1.2-bin.tar.gz -C /opt/server
# 改名，良好的命名规范。
cd /opt/server
mv apache-hive-3.1.2-bin.tar.gz/ hive-3.1.2.tar.gz
1
2
3
4

2、进入hive的安装目录，先操作lib文件夹下的三个jar：

1. 删除log4j-slf4j-impl-2.10.0.jar （解决日志冲突）

rm -rf log4j-slf4j-impl-2.10.0.jar
1

2. 替换guava
   将$HADOO{P}_{H}OME/share/common/lib/guava-27.0-jre.jar替换过来，删除自带的低版本。‘$HADOOP_HOME替换为自己hadoop的安装目录，$HIVE_HOME替换为自己的hive安装目录，没有配置环境变量的话，不要直接复制粘贴。`

   mv $HADOOP_HOME/share/common/lib/guava-27.0-jre.jar $HIVE_HOME/lib/
   rm $HIVE_HOME/lib/guava-19.0.jar
   1
   2

3. 添加mysql的连接驱动 mysql-connector-java-5.1.47.jar
   (做开发的应该不会没有吧？)

3、配置metastore到mysql

说明：

​ 在hive中，我们需要将默认的元数据存储数据库更换为MySQL，默认为Derby。因为Derby只支持单会话，而MySQL支持多会话。

若是没有安装mysql，参照我的另一篇教程：http://t.csdn.cn/eNltB

进入到$HIVE_HOME/conf/目录下，编辑：

vim hive-site.xml
1

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
	<configuration>
		<!-- jdbc连接的URL -->
		<property>
			<name>javax.jdo.option.ConnectionURL</name>
			<value>jdbc:mysql://node1:3306/metastore?useSSL=false</value>
		</property>
		<!-- jdbc连接的Driver-->
		<property>
		<name>javax.jdo.option.ConnectionDriverName</name>
		<value>com.mysql.jdbc.Driver</value>
		</property>
		<!-- jdbc连接的username-->
		<property>
			<name>javax.jdo.option.ConnectionUserName</name>
			<value>root</value>
		</property>
		<!-- jdbc连接的password -->
		<property>
			<name>javax.jdo.option.ConnectionPassword</name>
			<value>123456</value>
		</property>
		<!-- Hive默认在HDFS的工作目录 -->
		<property>
			<name>hive.metastore.warehouse.dir</name>
			<value>/user/hive/warehouse</value>
		</property>
		<!-- Hive元数据存储的验证 -->
		<property>
			<name>hive.metastore.schema.verification</name>
			<value>false</value>
		</property>
		<!-- 元数据存储授权  -->
		<property>
			<name>hive.metastore.event.db.notification.api.auth</name>
			<value>false</value>
		</property>		 
        <!-- 指定存储元数据要连接的地址 -->
		<property>
			<name>hive.metastore.uris</name>
			<value>thrift://node1:9083</value>
		</property>
		<!-- 指定hiveserver2连接的host -->
		<property>
			<name>hive.server2.thrift.bind.host</name>
			<value>node1</value>
		</property>
		<!-- 指定hiveserver2连接的端口号 -->
		<property>
			<name>hive.server2.thrift.port</name>
			<value>10000</value>
		</property>
	</configuration>
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54

4、登录MySQL，创建hive元数据库

可以直接命令行登录，也可以使用navicat等第三方连接软件，创建一个空的数据库metastore即可。

mysql -uroot -p123456
> create database metastore;
> quit;
1
2
3

进入hive的bin目录初始化数据库：

./schematool -initSchema -dbType mysql -verbose
1

查看MySQL中的metastore数据库，多出74张表，表示初始化成功。

5、配置hive环境变量(可以解压之后直接做)

vim /etc/profile
export HIVE_HOME=/opt/server/hive-3.1.2
export PATH=$PATH:$HIVE_HOME/bin
1
2
3

6、启动

• 先启动hadoop集群

  start-all.sh
  1

• 启动hive的元数据管理

  hive --service metastore & 
  # & 表示后台运行
  1
  2

• 启动hive

  hive
  1

• 测试，有输出不报错即ok

  show databases；
  1

• 退出命令

  :quit
  1

7、远程连接

开启远程连接：

hive --service hiveserver2 &
1

使用beeline进行连接测试：

beeline
> !connect jdbc:hive2://node1:10000
> root
> (无密码直接回车即可)
> show databases;
1
2
3
4
5

出现数据库列表，表示连接成功。

注意：

一般大数据操作hive数仓，写SQL都是在DataGrip软件中进行，类似于IDEA，同一家的产品。

连接方式类似于mysql的第三方连接，记住jdbc:hive2://node1:10000这个地址！

！！！

只使用本地hive，开启metastore，即可使用hive命令进入命令行操作界面；

使用远程工具连接hive，先开启metastore，再开启hiveserver2，才能使用工具连接hive！！

hive的操作命令，与mysql的语法类似，会更加丰富，需要专门练习。大数据中的sql一般要比之前学习mysql时要复杂一些。可以参考网上其他的教程，进行练习强化！