[Python爬虫] 抓取京东商品数据||京东商品API接口采集_python抓取京东数据
赞
踩
本文结构：
一、引言
二、代码分享
三、问题总结
引言
这两天因为一些需求，研究了一下如何爬取京东商品数据。最开始还是常规地使用selenium库进行商品页的商品抓取，后来因为想要获取优惠信息，只能进入到商品详情页进行抓取，想着用selenium库模拟浏览器行为进行页面抓取速度有点慢，就改用了requests库直接发送请求，然后问题就来了：明明在页面看到了优惠满减字段，抓取的结果却是空白的。
百度研究了一番，总算找到了原因。最后因为商品抓取量不大，所以还是乖乖的使用了selenium库进行爬虫。
代码分享
爬虫代码如下：
- # -*- coding: utf-8 -*-
- """
- 爬取京东商品排行榜商品信息
- """
-
- from selenium import webdriver
- from bs4 import BeautifulSoup
- import pandas as pd
- import re
- import time
-
-
- ##京东排行榜地址：https://top.jd.com/
-
- writer=pd.ExcelWriter(r"D:\python学习\京东排行榜商品.xlsx")##数据写入的文件
-
- ##使用selenium模拟浏览器登陆
- #需要下载安装chromedriver
- driver = webdriver.Chrome(r"C:\chromedriver.exe")
- driver.set_page_load_timeout(60)#设置页面最大加载等待时间
-
- category = ["手机","平板电脑"]#需要爬取的品类
- category_url = ["https://top.jd.com/sale?cateId=653","https://top.jd.com/sale?cateId=2694"]#爬取品类的网页
-
- for ci,c in enumerate(category_url,start=0):
- driver.get(c)#发送请求
- time.sleep(3)
-
- #################################获取排行榜信息###############################333
- info_name =[] #商品信息
- tag1 = [] #标签一：x天最低
- tag2 = [] #标签二：自营/包邮/促销/赠品
- tag3 = [] #标签三：好评率
- price = [] #商品价格
- link = [] #商品详情页
-
- bs = BeautifulSoup(driver.page_source,"html.parser")
- sale_list = bs.findAll("li",class_=re.compile('saleitem'))
- for s in sale_list:
- info_name.append(s.find("p",class_ = "saleitem_info_name").get_text())
-
- t = s.find("li",class_ = "top_mod_tag_item top_mod_tag_dj")
- if t is not None:
- tag1.append(t.get_text())
- else:
- tag1.append("")
- t = s.find("li",class_ = re.compile("top_mod_tag_item top_mod_tag_[^(dj)]"))
- if t is not None:
- tag2.append(t.get_text())
- else:
- tag2.append("")
- t = s.find("li",class_ = "top_mod_tag_item",text=re.compile("好评率.*"))
- if t is not None:
- tag3.append(t.get_text())
- else:
- tag3.append("")
- price.append(s.find('p',class_ = "saleitem_info_price").get_text())
- link.append(s.find('a',class_ = "saleitem_link").get("href"))
-
-
- #################进入商品详情页，获取商品的优惠券########################
- coupon = []
- for i,l in enumerate(link, start=1):
- driver.get(r"https:" + l)
- time.sleep(3)
- bs = BeautifulSoup(driver.page_source,"html.parser")
- try:
- coupon.append(bs.find("div",class_="summary").find("div",id = "summary-quan").find("span",class_ = "text").get_text())
- except:
- coupon.append("")
- print("抓取品类：%s，第%d个商品优惠券信息完成" %(category[ci],i))
- time.sleep(3)
-
-
- data = pd.DataFrame({"商品信息":info_name,"标签一（x天最低）":tag1,"标签二（自营/包邮/促销/赠品）":tag2,"标签三（好评率）":tag3,"价格":price,"商品详情页":link,"优惠券":coupon})
- data.to_excel(writer,sheet_name=category[ci],index=False)
-
- driver.close()
爬虫的步骤很简单。直接使用selenium库webdriver访问需要抓取的网址，然后进行html标签定位，使用Beautifulsoup库进行数据提取，之后使用pandas写入excel文件保存。
抓取结果如下：
问题总结
最开始的问题出在哪儿呢？为什么如果直接使用requests库get请求，结果抓取不到价格数据？
简单代码尝试了一下
- import requests
- from bs4 import BeautifulSoup
- response = requests.get("https://item.jd.com/27009615825.html")
- bs = BeautifulSoup(response.content,"html.parser")
- print(bs.find("div",class_="summary").find("div",id = "summary-quan").find("span",class_ = "text"))
明明打开浏览器的开发者工具可以看到优惠信息就存放在class属性值为 ‘text’的span标签下，但是抓取到的结果却为空。
输出结果如下：
In[1]: print(bs.find("div",class_="summary").find("div",id = "summary-quan").find("span",class_ = "text"))None百度了解到的原因是，京东网页中价格等信息并不是存放在静态网页中的，我们使用requests获取到网页源码，进行html解析，只会获取到空值。京东会采取js动态加载数据。那些商品价格、优惠券信息等等，并不是放在静态网页中的。每次加载页面，js脚本都会对数据接口进行调用请求数据，然后返回到页面上。所以，对于动态页面的抓取，一种办法就是借助工具找到js脚本请求的数据接口，使用requests库直接访问该接口获取数据。如价格信息就放在:
https://p.3.cn/prices/mgets?callback=jQuery6775278&skuids=J_(skuid)
其中链接最后括号里存放商品的sku id，比如：
https://p.3.cn/prices/mgets?callback=jQuery6775278&skuids=J_27009615825
商品的sku id可以在商品详情页的html抓取到。
关于京东的数据抓取，网上能百度到有完整的项目，有兴趣的可以了解一下：
CSDN地址：
https://blog.csdn.net/Kandy_Ye/article/details/70183110
Github代码：
https://github.com/KandyYe/JDSpider
另外，更加简单的一种办法就是使用selenium库进行数据采集了。selenium模拟浏览器行为，等到页面加载完成后，再获取完整的数据源码，所以在处理数据的时候就不需要担心我们抓取不到啦。但是有点小缺陷就是，selenium库比requests要慢。
据说还有一个两者的结合体——requestium，或许可以有更好
