基于hadoop豆瓣电影数据分析_基于hadoop的电影数据分析

任务一：

操作过程：

1. 打开hdfs

代码：start-all.sh

1. 打开hive

代码：hive;

3、将数据粘贴进主目录中

4、打开自己的数据库

代码：use liuxuanting;

5、新建一个表，表名为：lxt_2021900406

代码：

create external table lxt_2021900406(id int,name string,people int,stype string,country string,atime string,timelong int,year int,score double,here string)

row format delimited fields terminated by ','

6、导入数据

代码:load data local inpath "/home/liuxuanting/douban_movie-1686527723744.txt" into table lxt_2021900406；

7、查看数据导入情况

代码：select * from lxt_2021900406;

任务二：

1、什么类型的电影平均评分最高。

要求输出：类型  平均分

代码：SELECT stype,AVG(score) as scores

FROM lxt_2021900406

GROUP BY stype order by scores DESC;

输出结果：

2、哪个国家是烂片之王（平均评分小于6分的国家）。

要求输出：国家  平均分

代码：

SELECT country,avg(score) FROM lxt_2021900406 GROUP BY country having avg(score)<6;

输出结果：

任务三：

1、打开hbase

代码：start-hbase.sh

2、进入hbase shell

代码:hbase shell

3、在hbase中创建表lxt_2021900406

代码：creat 'lxt_2021900406','info'

4、在表lxt_2021900406中手动插入数据

代码：put ‘lxt_2021900406’,’1’,’info:moxige,bolan’,’5.8,5.7’

5、查看hbase表的插入情况

代码：scan ‘lxt_2021900406’

6、在hdfs中新建表/log

代码：hdfs dfs -mkdir /log

6、编辑日志

代码：vi liuxuanting1

7、上传操作日志在/log中

代码：hdfs dfs -copyFromLocal /home/liuxuanting/liuxuanting1 /log/

8、查看日志上传情况

代码：hdfs dfs -cat /log/liuxuanting1