hive数据仓库环境搭建以及数仓建模

问题简要：我在数仓建模完成后，有一天再次打开我的dbeaver数据全没了，我找了很多解决方法都不能解决我的问题，一气之下，我就把hive和所有的表删除了，重头来过

一.hive数据仓库环境搭建

Hive 安装部署

1. 安装 Hive

• 把 apache-hive-3.1.2-bin.tar.gz 上传到 linux 的/opt/softwares 目录下

• 解压apache-hive-3.1.2-bin.tar.gz 到/opt/modules/目录下面

• 修改 apache-hive-3.1.2-bin.tar.gz的名称为 hive

• 修改/etc/profile，添加环境变量

• 添加内容 

  #HIVE_HOME
  export HIVE_HOME=/opt/module/hive 
  export PATH=$PATH:$HIVE_HOME/bin
  

  环境变量生效：注意配置

[xikuang@hadoop102 modules]# source /etc/profile

• 解决日志 Jar 包冲突

• 初始化元数据库

2.Hive 元数据配置到 **MySQL **

• 拷贝驱动

将 MySQL 的 JDBC 驱动拷贝到 Hive 的 lib 目录下

[root@centos1 software]$ cp /opt/softwares/mysql-connector-java-5.1.37-bin.jar /opt/modules/hive/lib/

• 配置 Metastore 到 MySQL

在$HIVE_HOME/conf 目录下新建 hive-site.xml 文件

添加如下内容：

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<!-- jdbc 连接的 URL -->
<property>
<name>javax.jdo.option.ConnectionURL</name>
<value>jdbc:mysql://hadoop102:3306/metastore?useSSL=false</value>
</property>
 
<!-- jdbc 连接的 Driver-->
<property>
<name>javax.jdo.option.ConnectionDriverName</name>
<value>com.mysql.jdbc.Driver</value>
</property>
 
<!-- jdbc 连接的 username-->
<property>
<name>javax.jdo.option.ConnectionUserName</name>
<value>root</value>
</property>
 
<!-- jdbc 连接的 password -->
<property>
<name>javax.jdo.option.ConnectionPassword</name>
<value>000000</value>
</property>
 
<!-- Hive 元数据存储版本的验证 -->
<property>
<name>hive.metastore.schema.verification</name>
<value>false</value>
</property>
 
<!--元数据存储授权-->
<property>
<name>hive.metastore.event.db.notification.api.auth</name>
<value>false</value>
</property>
 
<!-- Hive 默认在 HDFS 的工作目录 -->
<property>
<name>hive.metastore.warehouse.dir</name>
<value>/user/hive/warehouse</value>
</property>
</configuration>
 
 

• 登陆 MySQL

• 新建 Hive 元数据库

• 初始化 Hive 元数据库

3.启动并使用hive

• 启动hive

 

• 使用hive 

hive> show databases; 
hive> show tables;
hive> create table test (id int); 
hive> insert into test values(1); 
hive> select * from test;
 

• 在 CRT 窗口中开启另一个窗口开启 Hive

  hive> show databases; hive> show tables; 
  

  二.数仓建模

• 1.下载dbeaver软件，并连接hive

2.创建数据库与数据表

• 在hive创建数据库

ods_didi    dw_didi   app_didi

• 

• 检查创建数据库的语句

二.1原始数据层ods

• 在dbeaver里创建表

• 1.四个表建好后，将表数据上传到opt/modules/tempdata

2.表数据加载hive各自对应表中

3.最后我们可以在dbeaver里查看一下

 

我们的数据就有了

但是这还只是原始数据层，我们必须经过仓库层，最后到我们应用层

 二.2数据仓库层dw

• 创建数据仓库层中的表：

• 插入数据 

二.3应用层app 

 让表更加清晰展现给我们

这周的分享就这样咯！我们的数据都有了