大数据图书数据分析

1.项目简介

1.1项目背景

随着人们生活水平的提高和消费观念的更新，图书市场需求不断发生变化，出现了需求多样化的趋势。近年来，我国网民网上读书率正在迅速增长，上网阅读率平均每年增长10%。纸质阅读力虽然在下降，但是传统的纸质图书阅读在相当长的时间内仍将占据重要地位。纸质阅读面临许多挑战，如新媒体对传统纸质媒体市场进行瓜分、中国出版业创新不足和纸质图书价格过高等问题。针对如下现象，本文主要针对主要文学类纸质图书价格、销量、折扣等研究其之间的相互关系，旨在找到一个合适的价格区间，让商家和读者都能接受的纸质图书价格，以此来提高商家的销量和读者的购买量，让二者均从此获益。

1.2项目功能

（1）后裔采集器获取当当网图书数据

（2） Python数据预处理

（3）数据上传Hive

（4）Hive数据分析

（5）MapperReduce数据分析

（6）Python数据可视化分析

1.3运行环境

（1）操作系统：Linux（Ubuntu16.04）；

（2） MySQL版本：5.7.16；

（3）Hadoop版本：2.7.1；

（4）HBase版本：1.1.5；

（5）Hive版本：1.2.1；

（6）Sqoop版本：1.4.6；

（7）Eclipse版本：3.8。

2.数据集与数据预处理

2.1数据集

（1）数据来源

本项目数据收集文学类图书中戏剧文学、文学理论、纪实文学、中国古诗词、民间文学共5中类型的书籍，每类6000行数据，一共30000万行数据。

（2）采集数据包涵数据类型

（3）前20行数据查询（由于书名太长，所以这里暂不显示）

 

2.2数据预处理

2.2.1 Python数据预处理

对出版时间(publish_time)和出版社(publish)字符串进行提取，删除特殊字符“/”；在书名(name)因为太长，不适合观察数据，所以只截取了前面5个字符；在末尾增加1列数量(number)，均赋值为1，表示每种图书被出版了1次；对评价数量(evaluate)在采集数据时通过观察发现，当该书籍没有评价时，采集到对书籍为空值，所以对所有评价数量为空值的赋值为0；最后对所有存在空值所在的行进行删除操作。Python预处理之后的数据一共有24028行，前20行数据

Python预处理之后数据类型

2.2.2 AWK数据预处理

（1）删除列名

（2）对字段预处理

对每一行数据从1到n自增一个id值，便于区分数据 

（3）预处理结果

（4）Hive预处理之后数据类型为

2.3数据上传

（1）数据上传HDFS并查看前10行数据

 

（2）Hive新建数据库和外部表

 

（3）查看Hive外部表中前10行数据

 

3.MapperReduce数据分析

本章节所有MapperReduce文件均存放在MapperReduce工程文件夹下，包ch3_1 - ch3_10分别是下面3.1-3.10MapperReduce数据分析的源代码

 

 

3.1 五种类型图书的数据量

（1）分析

统计收集的5类数据,观察这5类数据分别有多少行，因为我们是要对比这5种不同类型的图书，所以我们最终预处理后的各种类型书籍的数量如果数量相差太多，会对我们的结果有较大的影响，当然最好的情况下5中类型书籍的数据量刚好相对，这样使我们的分析更加准确。

（2）重要代码代码和运行情况

（3）文件输出结果

 

 

3.2 五种类型图书的比例

（1）分析

统计5种类型数据相对的比例，通过对比，发现5中类型的数据比例基本均为20%左右，说明收集的各种类型收集的数据量基本相同，在后续的分析过程中，我们的分析结果将会更为准确。

（2）重要代码和运行情况

（3）文件输出结果

 

3.3 五种类型的书籍被多少家出版社出版

（1）分析

对每一类书籍，可能同时被多家出版社出版；一家出版社，可能也出版了大量同类型书籍。一类书籍被更少的出版社出版，说明同有较多出版社出版了大量同类型书籍，说明这类书籍的读者和作者会比较多。所以，可以稍微提高文学理论类书籍出版量，而戏剧文学则应该少量出版。

（2）重要代码和运行情况

 

（3）文件输出结果

3.4 不同类型的书籍的出版年份和出版社

（1）分析

 

 

对于不同书籍，被出版的时间不一样，通过MapperReduce输出结果，不难发现，大多数出版社大多在2000年以后开始大量出版书籍，而在2000年以前，出版社出版书籍数量非常少，说明当今社会文化教育事业非常繁荣，教育发展相对于20年前有了巨大的进步，文化事业的发展欣欣向荣。

（2）重要代码和运行情况

 

（3）文件输出结果

3.5 每年每种类型书籍的出版数量

（1）分析

分析自1974年以来，每年各种类型书籍出版数量的变化，通过观察对比，找出哪一种类型的书籍对读者和作者更有吸引力。

（2）重要代码和运行情况

 

（3）文件输出结果

 

3.6 每年书籍的最低和最高价格

（1）分析

通过每年书籍最低价格和最高价格的对比变化，我们可以预测未来图书价格的变化，比如。随着信息化社会的发展，教育越来越普及，人们生活越来越富裕，价格将不再会是制约知识传播的主要原因，高质量的文学作品的最高价格将会越来越高，而文学水平一般图书的最低价格将会越来越低。

（2）重要代码和运行情况

 

（3）文件输出结果

 

3.7 二次排序，年份从低到高，价格从高到低

（1）分析

通过观察，随着时间的推移，图书的价格越来越多样化，图书被出版的数量也越来越多，最高价格越来越高，最低价格越来越低。分析图书价格变化，预测未来几年出版图书的价格。

（2）重要代码和运行情况

 

（3）文件输出结果

 

3.8 评价数量前10的书籍信息

（1）分析

在图书评价数量前10的书籍中，有6本是属于中国古诗词类图书，可见中国古诗词深受读者喜爱，同时这10本书基本是属于近三年新出版的新书，可见近些年来中国文化蓬勃发展，中国人对中国文化有了越来越多的认同。

（2）重要代码和运行情况

 

（3）文件输出结果

3.9 每年出版图书的数量

（1）分析

通过每年快速增长的出版图书数量，说明越来越多的作者加入了文化创作中，同时，未来中国文学的市场将会越来越广阔。

（2）重要代码和运行情况

（3）文件输出结果

 

3.10 对价格实现分区并进行排序

（1）分析

通过对价格分别大于1000，在500到1000之间和低于500之间书籍数量的对比我们发现，大部分图书都在500以下，500-1000之间仅仅占少部分，而1000以上则更少。

（2）重要代码和运行情况

 

（3）文件输出结果

 

4.Hive统计分析

4.1 评价数量大于1000的各种类型的书籍数量和平均价格

（1）目的

研究出版书籍数量和价格的关系，价格是否会影响销售量和顾客的评价数量。

（2）运行代码

（3）运行结果

 

（4）文件输出结果

 

4.2 统计每种类型前10价格书籍的价格和评价数量

（1）目的

研究5类书籍前10名价格的对比，发现价格与书籍类型是否有关系，价格过高的书籍类型是否会评价数量的减少

（2）运行代码

 

（3）运行结果

 

（4）文件输出结果

 

 

4.3 统计每种类型前10价格的书籍和折扣

（1）目的

研究为了吸引顾客购买高价书籍，商家是否会做更大力度折扣，一次来提高书籍的销量。

（2）运行代码

（3）运行结果

 

（4）文件输出结果

4.4 统计书籍价格和折扣

（1）目的

研究价格和折扣的关系，观察发现价格越高的书籍，折扣越大，我们可以判断，高价书籍会打较高的折扣力度，来吸引消费者，以此来提高销量。

（2）运行代码

（3）运行结果保存

（4）文件输出结果

5.数据可视化

5.1 五类书籍出版的比例

（1）说明

读取3.2 五种书籍的比率MapperReduce输出文件，并对其绘制扇形图

（2）代码

 

（3）运行结果

5.2 2010-2020年五类书籍出版的数量

（1）说明

读取3.1 每年每种类型书籍出版数量MapperReduce输出结果，截取其中2010-2020年的数据进行绘制柱型图。

（2）代码

（3）运行结果

 

5.3 2000-2020年份书籍最高价格

（1）说明

读取 3.6 每年书籍的最低和最高价格的MapperReduce输出结果，截取其中2000-2020年份书籍的最高价格绘制折线图。

（2）代码

（3）运行结果

5.4 2000-2020年每年出版图书数量

（1）说明

读取 3.9 每年出版图书数量的MapperReduce输出结果，截取其中2000-2020年份书籍的出版数量绘制柱形图。

（2）代码

（3）运行结果

5.5 五类书籍价格前10的对比

（1）说明

读取4.2 统计每种类型前10价格书籍的价格和评价数量的Hive输出结果，截取其中书籍书籍的价格绘制折线图。

（2）代码

 （3）运行结果

6.总结

此次课程项目非常有意义，因为很好地考察了我们的实践能力。平时都是老师上课教，然后我们照着课本或老师提供的代码，基本上运行起来不会有太大的问题，只是稍微改一改输入输出文件的位置啊和自己的数据信息之类的。通过这个项目就能够综合我们本学期所学的基本所有知识点。而且老师给的代码，有一些其实不适合我们的项目需要，这时候就要我们自己改进，这就能很好地检验我们到底有没有真正学懂了，如果真的学会了就能在老师代码的基础上进行改进，不会的也能在一些其他不同的java代码里进行查找，然后修改，非常好。

中途出了很多错误，但最后还是顺利的完成。数据预处理很重要，尤其是对一些特殊字符进行处理，需要用到正则表达式之类的，这方面比较薄弱，以前不好好学，现在要用到就不会了。另外我也体会到脚本数据预处理功能的强大，因为一些数据预处理的问题，基本上把awk数据预处理学了一遍，虽然最后用了其它的办法解决我的数据问题，但收获还是非常非常大。

相比于上学期，这学期对不管是爬取数据，数据预处理，Hive数据上传分析，相对上学期有了非常大的进步。上学期还不会用Python进行数据预处理，结果只能针对1万行的数据一行一行对一些特殊字符进行整行的删除，这学期较早对pandas库有了了解，因此直接进行Python预处理，简单方便，但仍需加强。同时对matplotlib库也有了更深的了解，画出来的图明显比上学期好看很多，但仍需加强。

总之，收获满满。