Hive-3.1.3安装配置MYSQL元数据存储_hive 3.1.3 mysql 8.0.30搭建

目标

安装hive，将元数据存放到mysql。

环境准备

• 配置好了hadoop环境

• 安装了mysql

• java8环境变量

软件版本

• hadoop-3.3.3

• mysql-5.7

• jdk8

• hive-3.1.3

• centos 7

hive-3.1.3阿里云镜像下载地址

一、HIVE安装

1. 配置hive环境变量

1. 解压到指定目录下

tar -zxvf apache-hive-3.1.3-bin.tar.gz -C /usr/local/src
1

2. 配置环境变量

vi /etc/profile

# 添加以下内容
export HIVE_HOME=/usr/local/src/apache-hive-3.1.3-bin/
export PATH=$PATH:$HIVE_HOME/bin
1
2
3
4
5

3. 检测环境变量是否配置成功

hive --version
1

2. 修改配置文件

1. 修改hive-site.xml文件

cd $HIVE_HOME/conf

# 由于没有hive-site.xml
# 可以复制从hive-default.xml.template复制一个出来然后修改
# 或者是自己新建一个，这里选择自己新建一个
vi hive-site.xml
1
2
3
4
5
6

2. 添加以下内容

<?xml version="1.0" encoding="UTF-8" standalone="no"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
	<!-- 元数据存放到mysql -->
    <property>
        <name>javax.jdo.option.ConnectionURL</name>
        <!-- jdbc url,hive的元素据存储到mysql的hive数据库中，如果mysql没有hive数据库则自动创建 -->
        <value>jdbc:mysql://master:3306/hive?createDatabaseIfNotExist=true&amp;useSSL=false</value>
    </property>
    <!-- mysql驱动名称 -->
    <property>
        <name>javax.jdo.option.ConnectionDriverName</name>
        <value>com.mysql.jdbc.Driver</value>
    </property>
    <!-- mysql用户名 -->
    <property>
        <name>javax.jdo.option.ConnectionUserName</name>
        <value>root</value>
    </property>
    <!-- mysql密码 -->
    <property>
        <name>javax.jdo.option.ConnectionPassword</name>
        <value>123456</value>
    </property>
</configuration>
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25

3. 初始化

1. 将mysql驱动包mysql-connector-java-5.1.38.jar复制到lib目录下

mysql-connector-java-5.1.38.jar下载地址

cd $HIVE_HOME

cp /opt/mysql-connector-java-5.1.38.jar ./lib/
1
2
3

2. 初始化元数据

schematool -dbType mysql --initSchema
1

4. 测试

1. 创建数据库

# 进入hive
hive

# 创建一个数据库试试
create database t1;

# 可以看出执行一条语句就会打印很多日志...
1
2
3
4
5
6
7

2. 设置日志等级为warn

参考: Hive 3.1.2 修改默认的INFO日志级别

3. 建个库和表再写点数据试试

4. 查看hdfs

5. 配置，打印表头和数据库名
在hive-site.xml中添加

<property>
	<name>hive.cli.print.header</name>
	<value>true</value>
</property>
<property>
	<name>hive.cli.print.db</name>
	<value>true</value>
</property>
1
2
3
4
5
6
7
8

现在就能看到表头和数据库名了