Mapreduce及hive有分区流程_hive mapreduce过程

1.将原始数据加载到HDFS平台

sftp 192.168.56.2 将原始数据上传至linux本地

root用户下 ls 命令进行查看是否上传成功

成功：①启动Hadoop

        cd app/hadoop../sbin/./start-all.sh

        启动成功后 jps查看进程

        此时，位置应处于sbin目录

      ②回到Linux本地家目录下  cd ~

      ③上传原始文件至hdfs根目录

        hadoop  fs  -put  xx.txt(上传文件名)  /

2.使用Mapreduce进行数据清洗，只保留日志中的用户手机号、访问网站,访问时间

①创建项目

②new floder -- lib 导入jar包 -- bulider path

③创包 - 创类

④书写代码

I.创建Mapper类

II.创建Reducer类

III.创建分区类

IV.创建提交类

⑤导出jar包

在包名或者src处 右键--export--jar file-- 选择保存路径（起名xx.jar）

    ⑥将jar包上传至linux本地目录下

ftp 192.168.56.2 连接 成功后直接拖进来

⑦执行编写的类

   hadoop jar xx.jar 包名.类名

⑧执行完查看结果 出现下图代表成功

⑨查看结果

hadoop  fs  -cat  /输出路径/part-r-00000

3.创建Hive数据库

root用户下 输入 hive 命令 进入hive

create  database 数据库名;

  创建完成，使用数据库

     use 数据库名;

4.创建存放清洗后数据的表cum_backup

create table 表名(

字段1 数据类型,

字段2 数据类型,

...)

partitioned by (分区字段 数据类型)

row format delimited

fields terminated by ‘分割方式’;

5.加载HDFS的清洗后的日志数据到Hive数据库表中

load data inpath ‘/之前的输出路径/part-r-00000’ into table 表名 partition(分区字段=’分区值’);

load data inpath ‘/之前的输出路径/part-r-00001’ into table 表名 partition(分区字段=’分区值’);

...

有几个分区，将对应的日志文件加载到其分区中。

6.hive sql分析 （都是查询语句 select 查什么 from 从哪里查 group by(分组) 根据哪一个字段分组）

7.使用Sqoop将该表内容导入到mysql数据库

明确知道要导出的内容，hive中的表以目录的形式保存在hdfs，所以将表中内容导出，实际上是将hdfs中表目录下的文件导出，因此需要先找到要导出的文件的路径，可通过Hadoop UI的形式查找。

打开浏览器，地址栏：192.168.56.2:50070

/user/hive/warehouse/数据库.db/表名/文件名

明确导出文件路径后：回到root用户下

登录到mysql,使用数据库，在数据库下创建表，这个表对应存储，hive中要导出的数据，所以字段应该一一对应，需要注意的是，mysql中的字符串类型为varchar，并且每个数据类型后应该给其对应的长度。

例如：use hive; 使用hive数据库

create table xx(

id varchar(200),

name varchar(200));

mysql中创建好对应的表后，在root用户下

sqoop export

--connect jdbc:mysql://master(主机名)/数据库名(MySQL中使用的数据库)

--username root

--password 123456

--table 表名(mysql中的表名)

--export-dir 导出文件的路径（/user/hive/warehouse/数据库.db/表名/文件名）

--input-fields-terminated-by ‘分割规则’

--m 1

导出成功后，回到mysql中，进行对表的查询，select * from 表名;