我用Python爬了4400条淘宝商品数据，竟发现了这些“潜规则”

本文记录了笔者用 Python 爬取淘宝某商品的全过程，并对商品数据进行了挖掘与分析，最终得出结论。

项目内容

本案例选择>> 商品类目：沙发；

数量：共100页 4400个商品；

筛选条件：天猫、销量从高到低、价格500元以上。

我用Python爬了4400条淘宝商品数据，竟发现了这些“潜规则”

项目目的
这里还是要推荐下小编的Python学习群:483546416，不管你是小白还是大牛，小编我都欢迎，不定期分享干货，包括小编自己整理的一份2017最新的Python资料和0基础入门教程，欢迎初学和进阶中的小伙伴。在不忙的时间我会给大家解惑。

1. 对商品标题进行文本分析 词云可视化

2. 不同关键词word对应的sales的统计分析

3. 商品的价格分布情况分析

4. 商品的销量分布情况分析

5. 不同价格区间的商品的平均销量分布

6. 商品价格对销量的影响分析

7. 商品价格对销售额的影响分析

8. 不同省份或城市的商品数量分布

9.不同省份的商品平均销量分布

注：本项目仅以以上几项分析为例。

项目步骤

1. 数据采集：Python爬取淘宝网商品数据

2. 对数据进行清洗和处理

3. 文本分析：jieba分词、wordcloud可视化

4. 数据柱形图可视化 barh

5. 数据直方图可视化 hist

6. 数据散点图可视化 scatter

7. 数据回归分析可视化 regplot

工具&模块：

工具：本案例代码编辑工具 Anaconda的Spyder

模块：requests、retrying、missingno、jieba、matplotlib、wordcloud、imread、seaborn 等。

一、爬取数据

因淘宝网是反爬虫的，虽然使用多线程、修改headers参数，但仍然不能保证每次100%爬取，所以 我增加了循环爬取，每次循环爬取未爬取成功的页 直