赞
踩
主机版本:Windows11
虚拟机版本:ubuntukylin-16.04-desktop-amd64
VMware 版本:VMware® Workstation 17 Pro
网卡:桥接模式
jdk 版本:jdk-8u162
Hadoop 版本:hadoop-3.1.3
注:硬件版本是使用的兼容 VMware 12.X 的。
这里需要说明一下,在进行 Hive 3.1.2
安装之前,请确保已经安装好了 Hadoop 3.1.3
,如果尚未安装 Hadoop 3.1.3
,可以参照 Ubuntu 16.04——Hadoop集群安装配置 进行安装。
在 Apache
的官网我们能找到很多 Hive
的版本,在 https://dlcdn.apache.org/hive/ 上面就能找到 Hive
各个版本的安装包,这里我们选择 Hive 3.1.2
这里我们能看到有很多的 tar.gz
的压缩包,但是我们选择 apache-hive-3.1.2-bin.tar.gz
的压缩包,我们还能看到下面有 src
的包,这里我们也说明一下二者的差别,bin
(binary 二进制)用于放置编译后的文件目录,java
是 .class
文件,有的语言是放置二进制文件;src
(source 来源),放置源代码的目录。
压缩包的区别:
.tar.gz
是linux
的压缩包
.zip
是windows
的压缩包
bin.tar.gz
是适用于linux
、MacOsX
系统的二进制文件
bin.zip
是适用于windows
的二进制文件
src.tar.gz
是linux
下的源码
src.zip
是windows
的源码
wget
下载 Hive 3.1.2
安装的方法在之前的文章已经介绍过很多种了,所以这里我就不再过多介绍下载的方式了,这里我们采用 wget
命令去进行下载。
wget https://dlcdn.apache.org/hive/hive-3.1.2/apache-hive-3.1.2-bin.tar.gz -P ~/下载/
下载完成后我们可以在 ~/下载
目录下找到下载的安装包,可以通过 ls
命令去查看安装包是否已经下载到了本地。
接下来我们把压缩包解压到 /usr/local/
目录下,解压完成后我们进入 /usr/local/
,修改目录名称让它更简短一些,并且更改属主和属组权限为当前用户,下面命令中的 hadoop
为当前用户的用户名称,请大家根据实际情况进行对应的调整。
sudo tar -zxvf ~/下载/apache-hive-3.1.2-bin.tar.gz -C /usr/local # 将压缩包解压到/usr/local中
cd /usr/local/ # 进入 /usr/local/ 目录
sudo mv apache-hive-3.1.2-bin hive # 将文件夹名改为 hive
sudo chown -R hadoop:hadoop hive # 修改文件权限
在之前安装 MongoDB
的文章中,在最后我们说明了为什么要配置环境变量,主要是为了方便使用,所以我们这里也把 Hive
配置进环境变量中,具体步骤是使用 vim
编辑器打开 .bashrc
文件,然后添加 Hive
执行文件所在的具体路径
vim ~/.bashrc
写入下面两个变量,如果并未写入 Hadoop
的环境变量,还需要写入 Hadoop
的环境变量
export HIVE_HOME=/usr/local/hive
export PATH=$PATH:$HIVE_HOME/bin
然后重新加载环境变量,使我们之前的配置生效
source ~/.bashrc
hive-default.xml.template
包含 Hive
发行版中预打包的各种配置变量的默认值。为了覆盖默认值,我们需要创建 hive-site.xml
,并在该文件中设置值;hive-site.xml
是 Hive
中的配置文档,我们对其中默认值进行修改,以便于后面使用 MySQL
数据库保存 Hive
的元数据,而不是采用 Hive
自带的 derby
来存储元数据。hive-default.xml.template
位于安装根目录的 conf
目录中, hive-site.xml
也应该在同一目录中创建。注意,模板文件hive-default.xml.template
根本不被Hive使用(从Hive 0.9.0开始),配置选项的规范列表仅在 HiveConf
java 类中管理。模板文件具有hive-site.xml
所需的格式,因此我们可以将模板文件中的配置变量粘贴到 hive-site.xml
中,然后将其值更改为所需的配置。
下面是我们这次需要配置的一些具体的配置项,更多详细的配置请参考Hive 语言手册。
- javax.jdo.option.ConnectionURL:用于指定 JDBC 连接字符串,指定连接的数据库为本地 MySQL 的 Hive 数据库。
- javax.jdo.option.ConnectionDriverName:指定用于连接 JDBC metastore 的 MySQL 驱动程序。
- javax.jdo.option.ConnectionUserName:指定连接到 metastore 数据库的用户名为“hive”。
- javax.jdo.option.ConnectionPassword:指定连接到 metastore 数据库的密码为“hive”。
cd /usr/local/hive/conf # 进入 hive 配置目录
vim hive-site.xml # 新建一个配置文件
在配置文件 hive-site.xml
中输入下面配置项设置
<?xml version="1.0" encoding="UTF-8" standalone="no"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?> <configuration> <property> <name>javax.jdo.option.ConnectionURL</name> <value>jdbc:mysql://localhost:3306/hive?createDatabaseIfNotExist=true</value> <description>JDBC connect string for a JDBC metastore</description> </property> <property> <name>javax.jdo.option.ConnectionDriverName</name> <value>com.mysql.jdbc.Driver</value> <description>Driver class name for a JDBC metastore</description> </property> <property> <name>javax.jdo.option.ConnectionUserName</name> <value>hive</value> <description>username to use against metastore database</description> </property> <property> <name>javax.jdo.option.ConnectionPassword</name> <value>hive</value> <description>password to use against metastore database</description> </property> </configuration>
下载安装比较简单,最后配置文件部分不一定需要使用 MySQL
根据大家自己具体情况进行分析并且修改。这篇文章有一些短,因为在安装上的确也没有什么需要特别说明的,但是生产环境中需要根据不同的情况对配置文件 hive-site.xml
进行不同的调整,这里只给一个简单的例子供大家进行参考。
Copyright © 2003-2013 www.wpsshop.cn 版权所有,并保留所有权利。