hive数据仓库搭建_hive数仓建设

一、虚拟机安装CentOS7并配置共享文件夹
二、CentOS 7 上hadoop伪分布式搭建全流程完整教程
三、本机使用python操作hdfs搭建及常见问题
四、mapreduce搭建
五、mapper-reducer编程搭建
六、hive数据仓库安装

一、hive数据仓库安装

1.1下载hive安装包

下载链接

解压到当前文件夹

 tar -zxvf apache-hive-2.3.9-bin.tar.gz 
1

移动到安装目录

sudo mv apache-hive-2.3.9-bin /usr/local
1

1.2修改配置文件

进入到安装目录的conf目录

cd /usr/local/apache-hive-2.3.9-bin/conf
1

使用复制方式新建hive-default.xml文件

 cp hive-default.xml.template hive-default.xml
1

新建hive-site.xml

 gedit hive-site.xml
1

粘贴如下内容

 <?xml version="1.0" encoding="UTF-8" standalone="no"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
    <!-- ########################### hive的 JDBC连接 ############################ -->
    <!-- mysql 连接用户名 -->
    <property>
        <name>javax.jdo.option.ConnectionUserName</name>
        <value>root</value>
    </property>
    <!-- mysql 连接密码 -->
    <property>
        <name>javax.jdo.option.ConnectionPassword</name>
        <value>123456</value>
    </property>
    <!-- mysql 连接URL 如果hive和mysql在同一服务器上，使用localhost -->
    <property>
        <name>javax.jdo.option.ConnectionURL</name>
        <value>jdbc:mysql://192.168.22.49:3306/myhive</value>
    </property>
    <!-- mysql 连接驱动 -->
    <property>
        <name>javax.jdo.option.ConnectionDriverName</name>
        <value>com.mysql.jdbc.Driver</value>
    </property>

</configuration>
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26

其中192.168.22.49为物理机ip，myhive数据库需要在物理机mysql5.7中创建，否则执行./schematool -initSchema -dbType mysql报错

1.3初始化元数据库

下载mysql驱动jar包
下载链接

下载完成之后放到/usr/local/apache-hive-2.3.9-bin/lib路径下
进入/usr/local/apache-hive-2.3.9-bin/bin目录下执行初始化元数据库
命令

./schematool -initSchema -dbType mysql
1

1.4修改环境变量

更新hive环境变量到配置文件

sudo gedit /etc/profile
1

文件末尾追加

export HIVE_HOME=/usr/local/apache-hive-2.3.9-bin
export PATH=$PATH:$HIVE_HOME/bin
1
2

刷新环境

source /etc/profile
1

1.5验证安装

在保证hadoop集群处于打开状态，物理机mysql处于运行状态，执行以下命令

hive
1

通过hive搭建可以实现对物理机mysql5.7中数据库的操作。

二、windows物理机安装mysql

之所以把这个放到hive安装之后是因为，我原来已经安装过了，如果你原来没有安装的话，需要先安装这个，再进行hive搭建

安装包
链接: https://pan.baidu.com/s/1uA–xggCc0HKXuA3IpluBg 提取码: 4r5x
安装需要勾选MySQL Server 以及MySQL Workbench进行安装

安装出现关于Microsoft Visual c++ 2013的报错可以看看这个

三、vmtool安装

vmtool可以实现在物理机和虚拟机之间复制粘贴，与hive搭建并无关系
若未安装，此处为安装VMware Tools ,点击进行安装

安装VMware-tool工具选项为黑色解决参考：https://blog.csdn.net/weixin_45158066/article/details/123268884
安装过后，打开虚拟机，将VMware-tool系统分区的文件复制到虚拟机文件分区,如/home/huangqifa/VMware-tool

解压

tar -xzvf VMwareTools-10.3.23-17030940.tar.gz
1

去解压目录找到vmware-install.pl，进入该目录打开终端
执行安装命令

sudo ./vmware-install.pl -d
1

之后就可以和本机之间进行复制粘贴了，整体可以说就是参考虚拟机软件下面那行黄色提示

具体安装参考：https://blog.csdn.net/zhujing16/article/details/88677253

四、阶段总结

到此云计算课程就正式结束，该教程到这里就要和大家说拜拜了。

基于本次云计算课程的环境搭建可以实现:
大数据电影可视化系统
基于本项目的云计算课程结课报告，设计流程图等我的结课提交材料见以下github链接
Cloud-Computing-Course-Closing-Report

参考文献：
CentOS7 Hive 安装
大数据电影可视化系统