当前位置:   article > 正文

04-配置Hive元数据存储到MySQL_windows hive+mysql元数据

windows hive+mysql元数据

目录

1、简介

2、配置元数据到MySQL

2.1、新建元数据库

 2.2、把MySQL的JDBC驱动拷贝到Hive的lib目录下(此处用的是MySQL8.0.33的驱动)

2.3、在$HIVE_HOME/conf下创建hive-site.xml文件

2.4、初始化hive元数据库,改为用MySQL存储

3、验证元数据是否配置成功

3.1、启动hive

3.2、使用hive

 3.3、在另外一个窗口开启hive,可以看到两个窗口都可以操作hive,没有异常

4、查看MySQL中的元数据

4.1、登录Mysql

4.1、查看元数据库metastore

4.2、查看元数据中存储的库信息,hive中默认有default数据库

 4.3、查看元数据中存储的列相关信息,保存创建表的字段的信息


1、简介

        把Hive元数据写道MySQL的metastore数据库中(MySQL默认没有metastore数据库,需要提前创建:create database metastore;)

2、配置元数据到MySQL

2.1、新建元数据库

  1. #登录到MySQL
  2. mysql -u root -p123456
  3. #创建元数据库
  4. mysql>create database metastore;
  5. mysql>quit;

 2.2、把MySQL的JDBC驱动拷贝到Hive的lib目录下(此处用的是MySQL8.0.33的驱动)

cp /opt/software/mysql-connector-j-8.0.33.jar /opt/module/hive/lib

2.3、在$HIVE_HOME/conf下创建hive-site.xml文件

  1. <?xml version="1.0"?>
  2. <?xml-stylesheettype type="text/xsl" href="configuration.xsl"?>
  3. <configuration>
  4.     <!-- jdbc连接的URL-->
  5.     <!--主机名:端口号/数据库名 -->
  6.    <property>
  7.        <name>javax.jdo.option.ConnectionURL</name>
  8.        <value>jdbc:mysql://hadoop104:3306/metastore?useSSL=false</value>
  9.     </property>
  10.    
  11.    <!-- jdbc连接的Driver-->
  12.    <property>
  13.        <name>javax.jdo.option.ConnectionDriverName</name>
  14.        <value>com.mysql.cj.jdbc.Driver</value>
  15.    </property>
  16.    
  17.    <!--jdbc连接的username-->
  18.    <property>
  19.        <name>javax.jdo.option.ConnectionUserName</name>
  20.        <value>root</value>
  21.    </property>
  22.    <!-- jdbc连接的password -->
  23.    <property>
  24.        <name>javax.jdo.option.ConnectionPassword</name>
  25.        <value>123456</value>
  26.    </property>
  27.     <!-- Hive默认在HDFS的工作目录-->
  28.    <property>
  29.        <name>hive.metastore.warehouse.dir</name>
  30.        <value>/user/hive/warehouse</value>
  31.    </property>
  32. </configuration>

2.4、初始化hive元数据库,改为用MySQL存储

bin/schematool -dbType mysql -initSchema -verbose

3、验证元数据是否配置成功

3.1、启动hive

bin/hive

3.2、使用hive

  1. hive> show databases;
  2. hive> show tables;
  3. hive> create table stu(id int, name string);
  4. hive> insert into stu values(1,"liao");
  5. hive> select * from stu;

 

 3.3、在另外一个窗口开启hive,可以看到两个窗口都可以操作hive,没有异常

  1. hive>show databases;
  2. hive>show tables;
  3. hive>select * from stu;

4、查看MySQL中的元数据

4.1、登录Mysql

mysql -u root -p123456

4.1、查看元数据库metastore

  1. mysql> show databases;
  2. mysql> use metastore;
  3. mysql> show tables;

4.2、查看元数据中存储的库信息,hive中默认有default数据库

mysql>select * from DBS;

查看元数据中存储的表信息,TBLS中保存了在hive中创建所有表的信息,创建的表的根目录等信息保存在SDS表中:

mysql>select * from TBLS;

 4.3、查看元数据中存储的列相关信息,保存创建表的字段的信息

mysql>select * from COLUMNS_V2;

声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/weixin_40725706/article/detail/909465
推荐阅读
相关标签
  

闽ICP备14008679号