Hive环境搭建

原创申明： 未经许可，禁止以任何形式转载，若要引用，请标注链接地址
全文共计2887字，阅读大概需要3分钟
欢迎关注我的个人公众号：不懂开发的程序猿

一、 任务描述

本实验任务主要完成基于ubuntu环境的Hive环境部署、配置和调试工作。通过完成本实验任务，要求学生熟练掌握Hive环境部署方法，为后续实验的开展奠定Hive基础，也为从事大数据平台运维工程师、大数据技术支持工程师等岗位工作奠定夯实的技能基础。

二、 任务目标

了解hive的作用并熟练hive的配置过程（Msql数据库）

三、 任务环境

本次环境是：Ubuntu16.04+jdk1.8.0

四、 任务分析

Hive工具中默认使用的是derby数据库，该数据库使用简单，操作灵活，但是存在一定的局限性，hive支持使用第三方数据库，例如mysql，通过配置可以把mysql集成到hive工具中，在实际的应用当中就比较方便，mysql功能更强大一些，社会中应用也广泛一些。

♥ 知识链接
mysql简述
  由于MySQL是开放源代码的，因此任何人都可以在General Public License的许可下下载并根据个性化的需要对其进行修改。MySQL因为其速度、可靠性和适应性而备受关注。大多数人都认为在不需要事务化处理的情况下，MySQL是管理内容最好的选择

五、 任务实施

步骤1、解压hive

在linux系统下，首先执行cd /simple 命令进入simple目录下，然后把/simple/soft目录下的hive压缩包解压到/simple目录下，执行命令为：tar -zxvf /simple/soft/apache-hive-1.2.2-bin.tar.gz。如图1所示

图1 解压hive包
  执行完解压命令之后，可以通过执行命令：ls可以看到一个hive解压目录。如图2所示

图2 查看解压后文件夹

步骤2、配置hive

解压完毕hive压缩包后，切换目录到/simple/apache-hive-1.2.2-bin目录并查看下面的文件列表。如图3所示

图3 进入hive目录
  在/simple/apache-hive-1.2.2-bin目录下执行命令：cd conf切换到conf目录并查看列表，执行命令：cp hive-env.sh.template hive-env.sh。如图4所示

图4 复制出一个hive配置文件
  在/simple/apache-hive-1.2.2-bin/conf目录下执行：vim hive-env.sh并编辑内容。如图5所示

图5 配置hadoop安装路径
  在/simple/apache-hive-1.2.2-bin目录下执行命令：cd conf切换到conf目录并查看列表，执行命令：mv hive-default.xml.template hive-site.xml。如图6所示

图6 重命名文件
   完成上一步操作之后，此时需要修改hive-site.xml文件的内容，由于hive-site.xml中内容较多，我们需要在本地打开文件进行删除文件中的内容，单击桌面文件选择打开方式->用Leafpad打开进行编译，删除<configuration></configuration>中所有内容，此操作会比较耗时，此时需要修改hive-site.xml文件的内容，在终端执行命令：vim hive-site.xml之后并查看内容，注意：mysql url路径地址的ip地址根据本机情况进行修改。如图7所示

图7 配置

复制连接mysql数据库的jar包到hive的lib下。如图8所示

图8 配置
  完成上一步之后，在目录$HIVE_HOME/bin下面，修改文件hive-config.sh，增加以下内容：

export JAVA_HOME=/simple/jdk1.8.0_73

export HIVE_HOME=/simple/apache-hive-1.2.2-bin

export HADOOP_HOME=/simple/hadoop-2.7.3
1
2
3
4
5

如图9，10所示

图9 增加环境变量

图10 增加环境变量
  在命令终端任意目录下，执行命令：vim /etc/profile然后编辑内容，进行hive环境变量的配置。然后执行命令：source /etc/profile,让配置生效。如图11所示

图11 增加环境变量
  配置完环境变量之后，执行命令”start-all.sh”启动hadoop服务和service mysql start启动mysql服务，之后执行hive命令，进入hive shell环境表示安装配置成功 。 如图12所示

图12 进入hive shell界面
  在测试的过程中有可能产生文件权限问题，对应目录主要有两个：

1)hdfs://192.168.1.2:9000/tmp1
2)/tmp1
1
2

可以通过如下命令修改hdfs上的tmp1和本地tmp1文件夹权限的修改：

hdfs dfs -mkdir /tmp1
hdfs dfs -chmod -R 777 /tmp1 //hdfs
1
2

上的文件权限，如图13所示

图13
知识链接
语法：tar [主选项+辅选项] 文件或者目录
使用该命令时，主选项是必须要有的，它告诉tar要做什么事情，辅选项是辅助使用的，可以选用。
主选项：
c 创建新的档案文件。如果用户想备份一个目录或是一些文件，就要选择这个选项。相当于打包。
x 从档案文件中释放文件。相当于拆包。
t 列出档案文件的内容，查看已经备份了哪些文件。