繁依Fanyi0

这个屌丝很懒，什么也没留下！

热门标签

Hive安装与配置及常见问题解决_apache-hive-3.1.2-bin.tar.gz

作者：繁依Fanyi0 | 2024-04-29 12:46:24

踩

apache-hive-3.1.2-bin.tar.gz

Hive 安装部署

因为我的集群没有普通用户，直接在root用户操作了

1 . 安装 Hive

1 ）把 apache-hive-3.1.2-bin.tar.gz 上传到 linux 的 /opt/software 目录下

2 ）解压 apache-hive-3.1.2-bin.tar.gz 到 /opt/module/ 目录下面

[root@hadoop102 software]$ tar -zxvf /opt/software/apache-hive-3.1.2-

bin.tar.gz -C /opt/module/

3 ）修改 apache-hive-3.1.2-bin.tar.gz 的名称为 hive

[root@hadoop102 software]$ mv /opt/module/apache-hive-3.1.2-bin/

/opt/module/hive

4 ）修改 /etc/profile.d/my_env.sh ，添加环境变量

[root@hadoop102 software]$ sudo vim /etc/profile.d/my_env.sh

5 ）添加内容

#HIVE_HOME

export HIVE_HOME=/opt/module/hive

export PATH=$PATH:$HIVE_HOME/bin

6 ）解决日志 Jar 包冲突

[root@hadoop102 software]$ mv $HIVE_HOME/lib/log4j-slf4j-impl-

2.10.0.jar $HIVE_HOME/lib/log4j-slf4j-impl-2.10.0.bak

7 ）初始化元数据库

[root@hadoop102 hive]$ bin/schematool -dbType derby -initSchema

2. 启动并使用 Hive

1 ）启动 Hive

[root@hadoop102 hive]$ bin/hive

2 ）使用 Hive

hive> show databases;

hive> show tables;

hive> create table test(id int);

hive> insert into test values(1);

hive> select * from test;

3 ）在 CRT 窗口中开启另一个窗口开启 Hive ，在 /tmp/atguigu 目录下监控 hive.log 文件

Caused by: ERROR XSDB6: Another instance of Derby may have already booted

the database /opt/module/hive/metastore_db.

org.apache.derby.iapi.error.StandardException.newException(Unknown

Source)

org.apache.derby.iapi.error.StandardException.newException(Unknown

Source)

org.apache.derby.impl.store.raw.data.BaseDataFileFactory.privGetJBMSLockO

nDB(Unknown Source)

org.apache.derby.impl.store.raw.data.BaseDataFileFactory.run(Unknown

Source)

...

原因在于 Hive 默认使用的元数据库为 derby ，开启 Hive 之后就会占用元数据库，且不与

其他客户端共享数据，所以我们需要将 Hive 的元数据地址改为 MySQL 。

3.MySQL 安装

1 ）检查当前系统是否安装过 MySQL

[root@hadoop102 ~]$ rpm -qa|grep mariadb

mariadb-libs-5.5.56-2.el7.x86_64

// 如果存在通过如下命令卸载

[root @hadoop102 ~]$ sudo rpm -e --nodeps mariadb-libs

2 ）将 MySQL 安装包拷贝到 /opt/software 目录下

[root @hadoop102 software]# ll

总用量 528384

-rw-r--r--. 1 root root 609556480 3 月 21 15:41 mysql-5.7.28-

1.el7.x86_64.rpm-bundle.tar

3 ）解压 MySQL 安装包

[root @hadoop102 software]# tar -xf mysql-5.7.28-1.el7.x86_64.rpm

bundle.tar

4 ）在安装目录下执行 rpm 安装

[atguigu @hadoop102 software]$

sudo rpm -ivh mysql-community-common-5.7.28-1.el7.x86_64.rpm

sudo rpm -ivh mysql-community-libs-5.7.28-1.el7.x86_64.rpm

sudo rpm -ivh mysql-community-libs-compat-5.7.28-1.el7.x86_64.rpm

sudo rpm -ivh mysql-community-client-5.7.28-1.el7.x86_64.rpm

sudo rpm -ivh mysql-community-server-5.7.28-1.el7.x86_64.rpm

注意 : 按照顺序依次执行

如果 Linux 是最小化安装的，在安装 mysql-community-server-5.7.28-1.el7.x86_64.rpm 时

可能会出现如下错误

[root@hadoop102 software]$ sudo rpm -ivh mysql-community-server-

5.7.28-1.el7.x86_64.rpm

警告： mysql-community-server-5.7.28-1.el7.x86_64.rpm: 头 V3 DSA/SHA1

Signature, 密钥 ID 5072e1f5: NOKEY

错误：依赖检测失败：

libaio.so.1()(64bit) 被 mysql-community-server-5.7.28-1.el7.x86_64

需要

libaio.so.1(LIBAIO_0.1)(64bit) 被 mysql-community-server-5.7.28-

1.el7.x86_64 需要

libaio.so.1(LIBAIO_0.4)(64bit) 被 mysql-community-server-5.7.28-

1.el7.x86_64 需要

通过 yum 安装缺少的依赖 , 然后重新安装 mysql-community-server-5.7.28-1.el7.x86_64 即

可

[root@hadoop102 software] yum install -y libaio

5 ）删除 /etc/my.cnf 文件中 datadir 指向的目录下的所有内容 , 如果有内容的情况下 :

查看 datadir 的值：

[mysqld]

datadir=/var/lib/mysql

删除 /var/lib/mysql 目录下的所有内容 :

[root @hadoop102 mysql]# cd /var/lib/mysql

[root @hadoop102 mysql ]# sudo rm -rf ./* // 注意执行命令的位置

6 ）初始化数据库

[root @hadoop102 opt]$ sudo mysqld --initialize --user=mysql

7 ）查看临时生成的 root 用户的密码

[root @hadoop102 opt]$ sudo cat /var/log/mysqld.log

8 ）启动 MySQL 服务

[root @hadoop102 opt]$ sudo systemctl start mysqld

9 ）登录 MySQL 数据库

[root @hadoop102 opt]$ mysql -uroot -p

Enter password: 输入临时生成的密码

登录成功 .

10 ）必须先修改 root 用户的密码 , 否则执行其他的操作会报错

mysql> set password = password(" 新密码 ");

11 ）修改 mysql 库下的 user 表中的 root 用户允许任意 ip 连接

mysql> update mysql.user set host='%' where user='root';

mysql> flush privileges;

4. Hive 元数据配置到 MySQL

拷贝驱动

将 MySQL 的 JDBC 驱动拷贝到 Hive 的 lib 目录下

[root@hadoop102 software]$ cp /opt/software/mysql-connector-java-

5.1.37.jar $HIVE_HOME/lib

注意使用时一定要开启集群！！！

成功进入：

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/繁依Fanyi0/article/detail/507807