当前位置:   article > 正文

Sqoop将hive处理的数据导出到MySQL_sqoop导出hive数据到mysql

sqoop导出hive数据到mysql

目录

部署前提

一、创建数据上传到hive中

创建学生表数据:vim stu.txt

创建课程表数据:vim course.txt

在hive中创建学生表和课程表:

上传数据到hdfs上的hive中:

二、处理hive中的数据

查询学生姓名和课程信息,创建结果表stu_result:

插入数据:

三、在mysql中创建结果表

四、将hive中处理好的结果同步到mysql

处理mysql乱码(1)

处理mysql乱码(2)


部署前提:

启动Hadoop集群,MySQL

一、创建数据上传到hive

  • 创建学生表数据:vim stu.txt

name,id,age(姓名,学号,年龄):

张三,2001,18

李四,2002,22

王五,2003,20

老六,2004,22

id,kcmc,xf(学号,课程名称,学分):

2001,大数据,2

2002,ETL,3

2003,python,1

2004,C语言,2

  • 在hive中创建学生表和课程表:

  1. create table hive_db03.stu
  2. (
  3. name string,
  4. id string,
  5. age string
  6. )
  7. row format delimited fields terminated by ',' stored as textfile;
  1. create table hive_db03.course
  2. (
  3. id string,
  4. kcmc string,
  5. xf string
  6. )
  7. row format delimited fields terminated by ',' stored as textfile;

查看创建的两个表:

show tables;

  • 上传数据到hdfs上的hive中:

hdfs dfs -put stu.txt /user/hive/warehouse/hive_db03.db/stu

hdfs dfs -put course.txt /user/hive/warehouse/hive_db03.db/course

二、处理hive中的数据

  • 查询学生姓名和课程信息,创建结果表stu_result:

  1. create table hive_db03.stu_result
  2. (
  3. name string,
  4. kcmc string,
  5. xf string
  6. )
  7. row format delimited fields terminated by ',' stored as textfile;

  • 插入数据:

insert into hive_db03.stu_result select m.name,n.kcmc,n.xf from hive_db03.stu m join hive_db03.course n on m.id=n.id;

三、在mysql中创建结果表:

  • 登录:

  1. create table db3.stu_result
  2. (
  3. name varchar(50),
  4. kcmc varchar(50),
  5. xf varchar(20)
  6. );

(注:hive中的string对应MySQL中的varchar)

四、将hive中处理好的结果同步到mysql

sqoop export -connect jdbc:mysql://192.168.43.21:3306/db3 -username sqoop03 -password 123456 -table stu_result -export-dir /user/hive/warehouse/hive_db03.db/stu_result -input-fields-terminated-by ','

  • 处理mysql乱码(1)

  • 修改mysql配置文件/etc/my.cnf,增加如下信息

[mysqld]

character-set-server=utf8

[client]

default-character-set=utf8

[mysql]

default-character-set=utf8

  • 重启mysql:

  • 重新创建数据库(注意:一定要重新创建数据库,以前创建的数据库编码并未改变)

  • 调用数据库:

  • 创建表:

  • 查看新建的数据库与表编码,已经变成utf8:

  • 重新同步数据:

sqoop export -connect jdbc:mysql://192.168.43.21:3306/db3 -username sqoop03 -password 123456 -table stu_result -export-dir /user/hive/warehouse/hive_db03.db/stu_result -input-fields-terminated-by ','
  • 查询:

  • 处理mysql乱码(2)

将原数据库编码格式改变(与上面方法不同的是需要每个数据库修改编码)

  1. 删除原表:drop table xxx;
  2. 改变数据库编码:alter database db03 character set "utf8";
  3. 重新创表:create table xxx;

以上就是简单的sqoop导出过程!

声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/运维做开发/article/detail/740470
推荐阅读
相关标签
  

闽ICP备14008679号