大数据技术原理与应用实验报告--hive数据仓库工具_第9章 数据仓库hive实验csdn

本实验将对汽车销售数据进行分析，使用HIVE QL语句来分析统计汽车行业、市场、个人等相关的数据。

准备数据

• 在桌面experiment文件夹中的cars.txt为山西省2013汽车销售数据
• 数据字段说明

时间、销售地点、邮政编码、车辆类型、车辆型号、制造厂商名称、排量、油耗、功率、发动机型号、燃料种类、车外廓长宽高、轴距、前后车轮、轮胎规格、轮胎数、载客数、所有权、购买人相关信息等。

1. 创建数据库（名称：cars）

2 创建外部表（表名：cars、各字段名称和类型请查看数据确定）

• 第一个字段类型为字符串，字段名称：province（描述：省份）
• 第二个字段类型为整型，字段名称：month（描述：月）
• 第三个字段类型为字符串，字段名称：city（描述：城市）
• 第四个字段类型为字符串，字段名称：county（描述：区、县）
• 第五个字段类型为整型，字段名称：year（描述：年）
• 第六个字段类型为字符串，字段名称：cartype（描述：车辆型号）
• 第七个字段类型为字符串，字段名称：productor（描述：制造商）
• 第八个字段类型为字符串，字段名称：brand（描述：品牌）
• 第九个字段类型为字符串，字段名称：mold（描述：车辆类型）
• 第十个字段类型为字符串，字段名称：owner（描述：所有权）
• 第十一个字段类型为字符串，字段名称：nature（描述：使用性质）
• 第十二个字段类型为整型，字段名称：number（描述：数量）
• 第十三个字段类型为字符串，字段名称：ftype（描述：发动机型号）
• 第十四个字段类型为整型，字段名称：outv（描述：排量）
• 第十五个字段类型为双精浮点型，字段名称：power（描述：功率）
• 第十六个字段类型为字符串，字段名称：fuel（描述：燃料种类）
• 第十七个字段类型为整型，字段名称：length（描述：车长）
• 第十八个字段类型为整型，字段名称：width（描述：车宽）
• 第十九个字段类型为整型，字段名称：height（描述：车高）
• 第二十个字段类型为整型，字段名称：xlength（描述：厢长）
• 第二十一个字段类型为整型，字段名称：xwidth（描述：厢宽）
• 第二十二个字段类型为整型，字段名称：xheight（描述：厢高）
• 第二十三个字段类型为整型，字段名称：count（描述：轴数）
• 第二十四个字段类型为整型，字段名称：base（描述：轴距）
• 第二十五个字段类型为整型，字段名称：front（描述：前轮距）
• 第二十六个字段类型为字符串，字段名称：norm（描述：轮胎规格）
• 第二十七个字段类型为整型，字段名称：tnumber（描述：轮胎数）
• 第二十八个字段类型为整型，字段名称：total（描述：总质量）
• 第二十九个字段类型为整型，字段名称：curb（描述：整备质量）
• 第三十个字段类型为整型，字段名称：hcurb（描述：核定载质量）
• 第三十一个字段类型为字符串，字段名称：passenger（描述：核定载客）
• 第三十二个字段类型为整型，字段名称：zhcurb（描述：准牵引质量）
• 第三十三个字段类型为字符串，字段名称：business（描述：底盘企业）
• 第三十四个字段类型为字符串，字段名称：dtype（描述：底盘品牌）
• 第三十五个字段类型为字符串，字段名称：fmold（描述：底盘型号）
• 第三十六个字段类型为字符串，字段名称：fbusiness（描述：发动机企业）
• 第三十七个字段类型为字符串，字段名称：name（描述：车辆名称）
• 第三十八个字段类型为整型，字段名称：age（描述：年龄）
• 第三十九个字段类型为字符串，字段名称：sex（描述：性别）

其中，行格式内容如下：设置字段分隔符‘\t’，设置文件存储位置为'/cars'。

3. 导入数据

语法：load data local inpath ‘数据路径’ overwrite into table 表名.库名;

数据所在位置：/home/zkpk/experiment/cars.txt

4 查询前10行表数据

5. 统计山西省2013年每个月的汽车销售数量

6.不同车型销售统计分析：统计不同类型车在每个月的销量

分析：统计出每个月，每个车型的销售数量，按照车辆类型和月份分组，并且月份不能是null和空。

7. 针对某一品牌的竞争分析：统计五菱每一个月的销售量

实验过程

1. 创建数据库

hive> create database cars;

 2. 创建外部表

CREATE EXTERNAL TABLE IF NOT EXISTS cars(
province STRING,
month INT,
city STRING,
county STRING,
year INT,
cartype STRING,
productor STRING,
brand STRING,
mold STRING,
owner STRING,
nature STRING,
number INT,
ftype STRING,
outv INT,
power FLOAT,
fuel STRING,
length INT,
width INT,
height INT,
xlength INT,
xwidth INT,
xheight INT,
count INT,
base INT,
front INT,
norm STRING,
tnumber INT,
total INT,
curb INT,
hcurb INT,
passenger STRING,
zhcurb INT,
business STRING,
dtype STRING,
fmold STRING,
fbusiness STRING,
name STRING,
age INT,
sex STRING
)
ROW FORMAT DELIMITED
 FIELDS TERMINATED BY '\t'
 STORED AS TEXTFILE;

检查一下表创建成功没有

3. 导入数据

load data local inpath '/home/zkpk/experiment/cars.txt' overwrite into table cars;

select * from cars;   //看看数据导入成功没有

 

4 查询前10行表数据

select * from cars limit 10;

5. 统计山西省2013年每个月的汽车销售数量

select month,count(*)

 from cars

 where province='山西省' and year=2013

 group by month;

6.不同车型销售统计分析：统计不同类型车在每个月的销量

select month,mold,count(*)

from cars

group by mold,month

having mold is not null and mold <> '' and month is not null;

7. 针对某一品牌的竞争分析：统计五菱每一个月的销售量         

select month,count(*)

from cars

where brand='五菱' and month is not null

group by month;