Hive 运行环境搭建_启动hive的环境

Hive 运行环境搭建

HIve 下载地址：http://archive.apache.org/dist/hive/

一、Hive 安装部署

1、安装hive

下载这个hive3.1.3的

将文件上传到 linux /opt/software 目录下

输入命令：tar -zxvf apache-hive-3.1.3-bin.tar.gz -C /opt/ 解压到 /opt 目录下

这个名字太长了，我们修改名字为 hive
输入命令：mv apache-hive-3.1.3-bin/ hive

输入命令：vim /etc/profile 配置hive环境变量

export HIVE_HOME=/opt/hive 
export PATH=$PATH:$HIVE_HOME/bin
1
2

输入命令：source /etc/profile 保存环境配置

2、MySQL 安装

1、检查当前系统是否安装过MySQL
输入命令：rpm -qa|grep mariadb mariadb-libs-5.5.56-2.el7.x86_64

将mysql5.7压缩包上传到 /optsoftware 目录下

输入命令： tar -xvf mysql-5.7.28-1.el7.x86_64.rpm-bundle.tar -C /opt/ 解压到/opt 目录下

然后下面会出现这么一堆

在安装目录下执行rpm安装1
输入命令：
sudo rpm -ivh mysql-community-common-5.7.28-1.el7.x86_64.rpm sudo rpm -ivh mysql-community-libs-5.7.28-1.el7.x86_64.rpm
sudo rpm -ivh mysql-community-libs-compat-5.7.28-1.el7.x86_64.rpm sudo rpm -ivh mysql-community-client-5.7.28-1.el7.x86_64.rpm
sudo rpm -ivh mysql-community-server-5.7.28-1.el7.x86_64.rpm
注意:按照顺序依次执行
如果 Linux 是最小化安装的，在安装 mysql-community-server-5.7.28-1.el7.x86_64.rpm 时 可能会出现如下错误

通过 yum 安装缺少的依赖,然后重新安装 mysql-community-server-5.7.28-1.el7.x86_64 即可
输入命令：yum install -y libaio 然后后面执行安装命令的时候，加上这个在末尾 --force --nodeps 就可以了，最好一条一条的执行

删除/etc/my.cnf 文件中 datadir 指向的目录下的所有内容,如果有内容的情况下:
查看 datadir 的值：
输入命令： vim /etc/my.cnf

可以看到我们没有

要是有的话，先切换到那个目录：cd /var/lib/mysql
输入命令：sudo rm -rf ./* 进行删除掉
初始化数据库：sudo mysqld --initialize --user=mysql

查看临时生成的 root 用户的密码
输入命令：sudo cat /var/log/mysqld.log 临时密码是root@localhos 后面的那个
启动Mysql服务：sudo systemctl start mysqld
登录Mysql数据库：mysql -uroot -prRiE<g:0iu)p p后面这个是临时生成的密码
输入命令：set password = password("p@ssw0rd"); 修改mysql的密码为p@ssw0rd

修改 mysql 库下的 user 表中的 root 用户允许任意 ip 连接
输入命令：update mysql.user set host='%' where user='root';

3、Hive 元数据配置到 Mysql

1) 拷贝驱动

将 MySQL 的 JDBC 驱动拷贝到 Hive 的 lib 目录下
输入命令： cp /opt/software/mysql-connector-java-5.1.37.jar $HIVE_HOME/lib

2) 配置Metastore 到 MySQL

1、在$HIVE_HOME/conf 目录下新建 hive-site.xml 文件
输入命令：vim $HIVE_HOME/conf/hive-site.xml
添加如下内容：

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<!-- jdbc 连接的 URL -->
<property>
<name>javax.jdo.option.ConnectionURL</name>
<value>jdbc:mysql://hadoop102:3306/metastore?useSSL=false</value>
</property>

<!-- jdbc 连接的 Driver-->
<property>
<name>javax.jdo.option.ConnectionDriverName</name>
<value>com.mysql.jdbc.Driver</value>
</property>

<!-- jdbc 连接的 username-->
<property>
<name>javax.jdo.option.ConnectionUserName</name>
<value>root</value>
</property>

<!-- jdbc 连接的 password -->
<property>
<name>javax.jdo.option.ConnectionPassword</name>
<value>p@ssw0rd</value>
</property>

<!-- Hive 元数据存储版本的验证 -->
<property>
<name>hive.metastore.schema.verification</name>
<value>false</value>
</property>

<!--元数据存储授权-->
<property>
<name>hive.metastore.event.db.notification.api.auth</name>
<value>false</value>
</property>

<!-- Hive 默认在 HDFS 的工作目录 -->
<property>
<name>hive.metastore.warehouse.dir</name>
<value>/user/hive/warehouse</value>
</property>
</configuration>
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45

2、登陆 MySQL
输入命令：mysql -uroot -pp@ssw0rd

3、新建hive元数据库
输入命令：create database metastore

4、初始化Hive元数据库
输入命令：schematool -initSchema -dbType mysql - verbose

3) 再次启动Hive

1、启动hive
输入命令：bin/hive

2、使用hive
输入命令： create database bigdata; 创建一个bigdata 数据库
输入命令：use bigdata; 选择bigdata数据库
输入命令：create table tests(id int); 创建一个tests表
输入命令： insert into tests values(1); 插入数据

4) 使用元数据服务的方式访问Hive

1、在 hive-site.xml 文件中添加如下配置信息

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<!-- jdbc 连接的 URL -->
<property>
<name>javax.jdo.option.ConnectionURL</name>
<value>jdbc:mysql://hadoop102:3306/metastore?useSSL=false</value>
</property>

<!-- jdbc 连接的 Driver-->
<property>
<name>javax.jdo.option.ConnectionDriverName</name>
<value>com.mysql.jdbc.Driver</value>
</property>

<!-- jdbc 连接的 username-->
<property>
<name>javax.jdo.option.ConnectionUserName</name>
<value>root</value>
</property>

<!-- jdbc 连接的 password -->
<property>
<name>javax.jdo.option.ConnectionPassword</name>
<value>p@ssw0rd</value>
</property>

<!-- Hive 元数据存储版本的验证 -->
<property>
<name>hive.metastore.schema.verification</name>
<value>false</value>
</property>

<!--元数据存储授权-->
<property>
<name>hive.metastore.event.db.notification.api.auth</name>
<value>false</value>
</property>

<!-- Hive 默认在 HDFS 的工作目录 -->
<property>
	<name>hive.metastore.warehouse.dir</name>
	<value>/user/hive/warehouse</value>
</property>
<!-- 指定存储元数据要连接的地址 -->
<property>
<name>hive.metastore.uris</name>
<value>thrift://hadoop102:9083</value>
</property>
</configuration>
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50

2、启动 metastore
输入命令：hive --service metastore &

二、使用Dbaver连接Hive

将hive的jdbc驱动从linux /opt/hive/jdbc 目录下下载下来

打开Dbavear点击编辑驱动

点击找到类，然后选择这个第一个这个类

然后让我们回到linux,启动节点，查看进程

我们要启动 hiveserver2
输入命令：nohup /opt/hive/bin/hive --service hiveserver2 &

输入命令： hive -service metastore &