当前位置:   article > 正文

Ubuntu 16.04 —— Hive 3.1.2 安装_hive集群式安装ubuntu

hive集群式安装ubuntu

零、环境

主机版本:Windows11

虚拟机版本:ubuntukylin-16.04-desktop-amd64

VMware 版本:VMware® Workstation 17 Pro

网卡:桥接模式

jdk 版本:jdk-8u162

Hadoop 版本:hadoop-3.1.3

注:硬件版本是使用的兼容 VMware 12.X 的。

这里需要说明一下,在进行 Hive 3.1.2 安装之前,请确保已经安装好了 Hadoop 3.1.3 ,如果尚未安装 Hadoop 3.1.3,可以参照 Ubuntu 16.04——Hadoop集群安装配置 进行安装。

一、安装 Hive 3.1.2

Apache 的官网我们能找到很多 Hive 的版本,在 https://dlcdn.apache.org/hive/ 上面就能找到 Hive 各个版本的安装包,这里我们选择 Hive 3.1.2

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-JkZlmoU1-1684458841848)(Z:\黄志成\Data\Typora\Linux\Ubuntu\Hive3.1.2安装.assets\image-20230518120253175.png)]

这里我们能看到有很多的 tar.gz 的压缩包,但是我们选择 apache-hive-3.1.2-bin.tar.gz 的压缩包,我们还能看到下面有 src 的包,这里我们也说明一下二者的差别,bin(binary 二进制)用于放置编译后的文件目录,java.class 文件,有的语言是放置二进制文件;src(source 来源),放置源代码的目录。

压缩包的区别:

.tar.gzlinux 的压缩包

.zipwindows 的压缩包

bin.tar.gz 是适用于 linuxMacOsX 系统的二进制文件

bin.zip 是适用于 windows 的二进制文件

src.tar.gzlinux 下的源码

src.zipwindows 的源码

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-Nfbibc4n-1684458841849)(Z:\黄志成\Data\Typora\Linux\Ubuntu\Hive3.1.2安装.assets\image-20230518120410208.png)]

wget 下载 Hive 3.1.2

安装的方法在之前的文章已经介绍过很多种了,所以这里我就不再过多介绍下载的方式了,这里我们采用 wget 命令去进行下载。

wget https://dlcdn.apache.org/hive/hive-3.1.2/apache-hive-3.1.2-bin.tar.gz -P ~/下载/
  • 1

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-tPGzZqBf-1684458841850)(Z:\黄志成\Data\Typora\Linux\Ubuntu\Hive3.1.2安装.assets\image-20230518123306994.png)]

解压 Hive 3.1.2

下载完成后我们可以在 ~/下载 目录下找到下载的安装包,可以通过 ls 命令去查看安装包是否已经下载到了本地。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-5wudv5Ut-1684458841850)(Z:\黄志成\Data\Typora\Linux\Ubuntu\Hive3.1.2安装.assets\image-20230518123559234.png)]

接下来我们把压缩包解压到 /usr/local/ 目录下,解压完成后我们进入 /usr/local/ ,修改目录名称让它更简短一些,并且更改属主和属组权限为当前用户,下面命令中的 hadoop 为当前用户的用户名称,请大家根据实际情况进行对应的调整。

sudo tar -zxvf ~/下载/apache-hive-3.1.2-bin.tar.gz -C /usr/local # 将压缩包解压到/usr/local中
cd /usr/local/ # 进入 /usr/local/ 目录
sudo mv apache-hive-3.1.2-bin hive # 将文件夹名改为 hive
sudo chown -R hadoop:hadoop hive # 修改文件权限
  • 1
  • 2
  • 3
  • 4

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-UsUEoItc-1684458841851)(Z:\黄志成\Data\Typora\Linux\Ubuntu\Hive3.1.2安装.assets\image-20230518124315001.png)]

配置环境变量

在之前安装 MongoDB 的文章中,在最后我们说明了为什么要配置环境变量,主要是为了方便使用,所以我们这里也把 Hive 配置进环境变量中,具体步骤是使用 vim 编辑器打开 .bashrc 文件,然后添加 Hive 执行文件所在的具体路径

vim ~/.bashrc
  • 1

写入下面两个变量,如果并未写入 Hadoop 的环境变量,还需要写入 Hadoop 的环境变量

export HIVE_HOME=/usr/local/hive
export PATH=$PATH:$HIVE_HOME/bin
  • 1
  • 2

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-zm85vQfL-1684458841851)(Z:\黄志成\Data\Typora\Linux\Ubuntu\Hive3.1.2安装.assets\image-20230518125135519.png)]

然后重新加载环境变量,使我们之前的配置生效

source ~/.bashrc
  • 1

二、配置 hive-site.xml

hive-default.xml.template 包含 Hive 发行版中预打包的各种配置变量的默认值。为了覆盖默认值,我们需要创建 hive-site.xml,并在该文件中设置值;hive-site.xmlHive 中的配置文档,我们对其中默认值进行修改,以便于后面使用 MySQL 数据库保存 Hive 的元数据,而不是采用 Hive 自带的 derby 来存储元数据。hive-default.xml.template 位于安装根目录的 conf 目录中, hive-site.xml 也应该在同一目录中创建。注意,模板文件hive-default.xml.template 根本不被Hive使用(从Hive 0.9.0开始),配置选项的规范列表仅在 HiveConf java 类中管理。模板文件具有hive-site.xml 所需的格式,因此我们可以将模板文件中的配置变量粘贴到 hive-site.xml 中,然后将其值更改为所需的配置。

下面是我们这次需要配置的一些具体的配置项,更多详细的配置请参考Hive 语言手册

  • javax.jdo.option.ConnectionURL:用于指定 JDBC 连接字符串,指定连接的数据库为本地 MySQL 的 Hive 数据库。
  • javax.jdo.option.ConnectionDriverName:指定用于连接 JDBC metastore 的 MySQL 驱动程序。
  • javax.jdo.option.ConnectionUserName:指定连接到 metastore 数据库的用户名为“hive”。
  • javax.jdo.option.ConnectionPassword:指定连接到 metastore 数据库的密码为“hive”。
cd /usr/local/hive/conf # 进入 hive 配置目录
vim hive-site.xml # 新建一个配置文件
  • 1
  • 2

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-mk41soK7-1684458841851)(Z:\黄志成\Data\Typora\Linux\Ubuntu\Hive3.1.2安装.assets\image-20230519091319875.png)]

在配置文件 hive-site.xml 中输入下面配置项设置

<?xml version="1.0" encoding="UTF-8" standalone="no"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
    <property>
    <name>javax.jdo.option.ConnectionURL</name>
    <value>jdbc:mysql://localhost:3306/hive?createDatabaseIfNotExist=true</value>
    <description>JDBC connect string for a JDBC metastore</description>
  </property>
  <property>
    <name>javax.jdo.option.ConnectionDriverName</name>
    <value>com.mysql.jdbc.Driver</value>
    <description>Driver class name for a JDBC metastore</description>
  </property>
  <property>
    <name>javax.jdo.option.ConnectionUserName</name>
    <value>hive</value>
    <description>username to use against metastore database</description>
  </property>
  <property>
    <name>javax.jdo.option.ConnectionPassword</name>
    <value>hive</value>
    <description>password to use against metastore database</description>
  </property>
</configuration>
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18
  • 19
  • 20
  • 21
  • 22
  • 23
  • 24

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-jIa59Vi6-1684458841852)(Z:\黄志成\Data\Typora\Linux\Ubuntu\Hive3.1.2安装.assets\image-20230519090921277.png)]

三、写在最后

下载安装比较简单,最后配置文件部分不一定需要使用 MySQL 根据大家自己具体情况进行分析并且修改。这篇文章有一些短,因为在安装上的确也没有什么需要特别说明的,但是生产环境中需要根据不同的情况对配置文件 hive-site.xml 进行不同的调整,这里只给一个简单的例子供大家进行参考。

声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/盐析白兔/article/detail/858505
推荐阅读
相关标签
  

闽ICP备14008679号