爬虫爬取京东商品详细数据 （品牌、售价、各类评论量（精确数量）、热评词及数量等）json解析部分数据_在京东商城,爬取某个品牌的手机型号、店铺名称、价格和评论条数,存储的csv文件中

前言

1.本编文章为毕设所著，所作内容不用于任何商业用途，爬虫所获取内容均用于个人设计

2.本文基于上一篇文章为前提，详情转：爬取京东笔记本电脑销量榜每件商品详情页url，并存入云服务器中的mysql库

3.目前多线程改进版已完成，请移步至：
（多线程优化版）爬虫爬取京东商品详细数据（品牌、售价、各类评论量（精确数量）、热评词及数量等） json解析部分数据

一、数据保存格式设置及数据库准备（CentOS云mysql数据库）

1、分析数据需求（单一商品为例）

此为所获取到的上商品url中的第一件商品的详情页


通过观察网页，初步确定数据需求为：
商品名称（product_name）、品牌（product_brand）、价格（product_price）、总评论数（total_comment_num）、好评数（good_comment_num）、好评率(good_percent_com)、差评数(bad_comment_num)、差评率(bad_percent_com)、评论标签及数量(dict_icon)，共计9项。（后续网页分析后添加项：价格分为三项（最高价格（product_m_price）、当前价格（product_price）、指导价格（product_o_price））），合计11项。

2、数据库保存格式

继爬取到的数据继续存入上一文章保存url库中，增加字段，更新行数据。
结果示例：