Python 手把手教你爬取淘宝的笔记本电脑数据_爬取淘宝网笔记本

  如果觉得文章写得好，如果你想要获取本文的所有数据，请关注公众号：【数据分析与统计学之美】，添加作者【个人微信】，进群和作者交流！

目录

  1、selenium模块的安装与chromedriver驱动的配置
   1）安装selenium库
   2）chromedriver驱动的配置
     ① 检查谷歌浏览器的版本
     ② 下载chromedriver驱动
     ③ chromedriver驱动的配置
   3）检验selenium是否可用
   4）一个小案例展示selenium的操作效果
  2、爬虫思路的完整叙述
   1）定位输入框、搜索框
   2）获取“总页数”信息
   3）获取商品信息(第一页的信息)
   4）保存数据(第一页的数据)
   5）翻页操作获取整个数据(完整代码)
  3、可视化展示
   1）买电脑最关注哪些参数？
   2）不同电脑品牌的销量信息
   3）电脑需求量最大的前十个城市
   4）店铺销售量最好的前十个城市
   5）价格最贵的电脑到底是啥样的？

1、selenium模块的安装与chromedriver驱动的配置
1）安装selenium库

pip install selenium

检验是否安装成功：

2）chromedriver驱动的配置

配置chromedriver驱动，一定要注意“驱动”和“谷歌浏览器”版本一定是要相匹配，否则不能使用。
① 检查谷歌浏览器的版本

这里首先提供一个详细的地址供大家查看：
https://jingyan.baidu.com/article/95c9d20d74a1e8ec4f756149.html
点击“右上角三个点” --> 点击“设置” --> 点击 “关于chrome”，出现如下界面。

② 下载chromedriver驱动

这里再次提供一个详细的地址，供大家选择各种版本驱动程序：
http://chromedriver.storage.googleapis.com/index.html
从上面的图中可以看出，谷歌浏览器的版本是【81.0.4044.138】，这里我们选择的chromedriver驱动，如下图所示。

点进该文件后，可以根据我们的操作系统，选择对应的驱动。

③ chromedriver驱动的配置

解压上述下载好的文件，并将其中的的chromedriver.exe文件，需要放到python的安装路径下(和python.exe放在一起)。
首先，你可以查看你的python解释器安装在哪里！

然后，将chromedriver.exe放置和python.exe在一起。

3）检验selenium是否可用

使用如下两行代码，如果谷歌浏览器成功被驱动打开，证明上述安装和配置没问题。

from selenium import webdriver
browser = webdriver.Chrome()

结果如下：

4）一个小案例展示selenium的操作效果

from selenium import webdriver
import time
 
# 创建浏览器对象，该操作会自动帮我们打开Google浏览器窗口
browser = webdriver.Chrome()
 
# 调用浏览器对象，向服务器发送请求。该操作会打开Google浏览器，并跳转到“百度”首页
browser.get("https://www.baidu.com/")
 
# 最大化窗口
browser.maximize_window()
 
# 定位“抗击肺炎”链接内容
element = browser.find_element_by_link_text("抗击肺炎")
# 为了更好的展示这个效果，我们等待3秒钟
time.sleep(3)
# 点击上述链接
element.click()
 
# 我们再让浏览器停留3秒钟后，再关闭浏览器
time.sleep(3)
# 操作会自动关闭浏览器
browser.close()
"""
效果这里就不展示了，大家自行下去尝试！
"""

2、爬虫思路的完整叙述

这个章节主要讲述的是我的整个爬虫思路。会的人就挑重点看看，不会的人就仔细看看。
1）定位输入框、搜索框

你想要获取笔记本电脑的数据信息。就必须要利用selenium自动化测试工具，自动输入“笔记本电脑”，然后点击“搜索”，获取我们想要的页面。
下图展示的是“输入框”的定位信息：

下图展示的是“搜索框”的定位信息：

第一次测试代码如下：

from selenium import webdriver
import time
 
# 搜索商品
def search_product(key_word):
    # 定位输入框
    browser.find_element_by_id("q").send_keys(key_word)
    # 定义点击按钮，并点击
    browser.find_element_by_class_name('btn-search').click()
    # 最大化窗口：为了方便我们扫码
    browser.maximize_window()
    # 等待15秒，给足时间我们扫码
    time.sleep(15)
 
# 获取数据
def get_data():
    pass
 
def main():
    browser.get('https://www.taobao.com/')
    search_product(key_word)
 
if __name__ == '__main__':
    key_word = input("请输入你要搜索的商品：")
    browser = webdriver.Chrome()
    main()

注意：在自动点击“搜索框”后，系统会提示“需要登陆信息”。登陆方式很多，我推荐的是使用“二维码登录”的方式，因为其他方式很复杂，也不建议你们尝试，除非你想研究爬虫。

2）获取“总页数”信息

这个操作是为我们后来的“翻页”操作做准备的。对于淘宝页面来说，进行翻页操作，有如下两种方式，下面我们一一进行说明，我们先看下图。

思路一：从第一页开始，一直点击下一页；
思路二：获取总页码，进行url的拼接后，进行翻页操作；
这里我们选择的是“第二种思路”。因为不同的商品页码不同(有的可能没有100页)，因此为了便于代码的书写，我们选择了第二种。

from selenium import webdriver
import time
 
# 搜索商品，获取商品页码
def search_product(key_word):
    # 定位输入框
    browser.find_element_by_id("q").send_keys(key_word)
    # 定义点击按钮，并点击
    browser.find_element_by_class_name('btn-search').click()
    # 最大化窗口：为了方便我们扫码
    browser.maximize_window()
    # 等待15秒，给足时间我们扫码
    time.sleep(15)
    # 定位这个“页码”，获取“共100页这个文本”
    page_info = browser.find_element_by_xpath('//div[@class="total"]').text
    # 需要注意的是：findall()返回的是一个列表，虽然此时只有一个元素它也是一个列表。
    page = re.findall("(\d+)",page_info)[0]
    return page
 
# 获取数据
def get_data():
    pass
 
def main():
    browser.get('https://www.taobao.com/')
    page = search_product(key_word)
    print(type(page))
    print(page)
 
if __name__ == '__main__':
    key_word = input("请输入你要搜索的商品：")
    browser = webdriver.Chrome()
    main()

定位“总页面”，我们可以看一下图中的定位信息，这里的总页面信息是一个文本“共100页”，我们需要利用“正则表达式”提取数字100，代码如上。

3）获取商品信息(第一页的信息)

我们要获取商品信息，首先要找到商品信息的具体定位信息。老生常谈的话，怎么定位？这里就不详细说明了，下图中可以看出：整个笔记本的信息都存在于div[@class=“items”]下。
其次，获取具体各部分的信息，我们使用的是xpath语法，这一直是我最喜欢使用的一个获取数据的方式。

代码如下：

from selenium import webdriver
import time
 
# 搜索商品，获取商品页码
def search_product(key_word):
    # 定位输入框
    browser.find_element_by_id("q").send_keys(key_word)
    # 定义点击按钮，并点击
    browser.find_element_by_class_name('btn-search').click()
    # 最大化窗口：为了方便我们扫码
    browser.maximize_window()
    # 等待15秒，给足时间我们扫码
    time.sleep(15)
    # 定位这个“页码”，获取“共100页这个文本”
    page_info = browser.find_element_by_xpath('//div[@class="total"]').text
    # 需要注意的是：findall()返回的是一个列表，虽然此时只有一个元素它也是一个列表。
    page = re.findall("(\d+)",page_info)[0]
    return page
 
# 获取数据
def get_data():
    # 通过页面分析发现：所有的信息都在items节点下
    items = browser.find_elements_by_xpath('//div[@class="items"]/div[@class="item J_MouserOnverReq  "]')
    for item in items:
        # 参数信息
        pro_desc = item.find_element_by_xpath('.//div[@class="row row-2 title"]/a').text
        # 价格
        pro_price = item.find_element_by_xpath('.//strong').text
        # 付款人数
        buy_num = item.find_element_by_xpath('.//div[@class="deal-cnt"]').text
        # 旗舰店
        shop = item.find_element_by_xpath('.//div[@class="shop"]/a').text
        # 发货地
        address = item.find_element_by_xpath('.//div[@class="location"]').text
        print(pro_desc, pro_price, buy_num, shop, address)
 
def main():
    browser.get('https://www.taobao.com/')
    page = search_product(key_word)
    print(page)
    get_data()
 
if __name__ == '__main__':
    key_word = input("请输入你要搜索的商品：")
    browser = webdriver.Chrome()
    main()

4）保存数据(第一页的数据)

保存数据我们使用的是csv模块，我们先保存第一页的数据，后面采用追加的方式，将每一页的数据，一次次保存进行。

from selenium import webdriver
import time
import csv
 
# 搜索商品，获取商品页码
def search_product(key_word):
    # 定位输入框
    browser.find_element_by_id("q").send_keys(key_word)
    # 定义点击按钮，并点击
    browser.find_element_by_class_name('btn-search').click()
    # 最大化窗口：为了方便我们扫码
    browser.maximize_window()
    # 等待15秒，给足时间我们扫码
    time.sleep(15)
    # 定位这个“页码”，获取“共100页这个文本”
    page_info = browser.find_element_by_xpath('//div[@class="total"]').text
    # 需要注意的是：findall()返回的是一个列表，虽然此时只有一个元素它也是一个列表。
    page = re.findall("(\d+)",page_info)[0]
    return page
 
# 获取数据
def get_data():
    # 通过页面分析发现：所有的信息都在items节点下
    items = browser.find_elements_by_xpath('//div[@class="items"]/div[@class="item J_MouserOnverReq  "]')
    for item in items:
        # 参数信息
        pro_desc = item.find_element_by_xpath('.//div[@class="row row-2 title"]/a').text
        # 价格
        pro_price = item.find_element_by_xpath('.//strong').text
        # 付款人数
        buy_num = item.find_element_by_xpath('.//div[@class="deal-cnt"]').text
        # 旗舰店
        shop = item.find_element_by_xpath('.//div[@class="shop"]/a').text
        # 发货地
        address = item.find_element_by_xpath('.//div[@class="location"]').text
        #print(pro_desc, pro_price, buy_num, shop, address)
        with open('{}.csv'.format(key_word), mode='a', newline='', encoding='utf-8-sig') as f:
            csv_writer = csv.writer(f, delimiter=',')
            csv_writer.writerow([pro_desc, pro_price, buy_num, shop, address])
 
def main():
    browser.get('https://www.taobao.com/')
    page = search_product(key_word)
    print(page)
    get_data()
 
if __name__ == '__main__':
    key_word = input("请输入你要搜索的商品：")
    browser = webdriver.Chrome()
    main()

注意：在使用csv保存数据的时候，一定要将数据编码设置为“utf-8-sig”形式，不要问为什么，因为我以前碰到过保存为“utf8”格式，仍然出现乱码的情况。只有保存成这个编码还没有遇见任何问题。

5）翻页操作获取整个数据(完整代码)

我们想要知道怎么翻页，就必须了解每个页面的“url”是怎么变化的，下图我截取了第2，3，4页的url信息，进行分析。

由于整个代码太长，这里就不提供了，详细代码可以参见文末的“获取方式”。

3、可视化展示
1）买电脑最关注哪些参数？

add_word = ['联想','惠普','酷睿','苹果','三星','华硕','索尼','宏碁','戴尔','海尔','长城','海尔','神舟','清华同方','方正','明基'] 
for i in add_word:
    jieba.add_word(i)
df["切分后的描述信息"] = df["描述信息"].apply(lambda x:jieba.lcut(x))
# 读取停用词
with open("stoplist.txt", encoding="utf8") as f:
    stop = f.read()
stop = stop.split()
stop = [" ","笔记本电脑"] + stop
stop[:10]
# 去掉停用词
df["切分后的描述信息"] = df["切分后的描述信息"].apply(lambda x: [i for i in x if i not in stop])
# 词频统计
all_words = []
for i in df["切分后的描述信息"]:
    for j in i:
        all_words.extend(i)
word_count = pd.Series(all_words).value_counts()
# 绘制词云图
# 1、读取背景图片
back_picture = imread("aixin.jpg")
 
# 2、设置词云参数
wc = WordCloud(font_path="G:\\6Tipdm\\wordcloud\\simhei.ttf",
               background_color="white",
               max_words=2000,
               mask=back_picture,
               max_font_size=200,
               random_state=42
              )
wc2 = wc.fit_words(word_count)
 
# 3、绘制词云图
plt.figure(figsize=(16,8))
plt.imshow(wc2)
plt.axis("off")
plt.show()
wc.to_file("电脑.png")

效果如下：

从上图可以看出：“轻薄”、“游戏”、“学生”、“商务”这三个词被提及的次数最多。其次大家关注最多的是“办公”、“便携”、“英寸”。从电脑牌子可以看出 ， “酷睿”和“联想”的销量最大，“华硕”的其次。从性能参数来看，“i7”牌子的电脑，销量高于“i5”牌子的电脑，想当年我买电脑的时候，还是“i5”刚刚普及的时候。

2）不同电脑品牌的销量信息

从上图可以看出：销售量排名前3的电脑分别是“联想”、“酷睿”、“苹果”，其次是“华硕”、“戴尔”、“惠普”。

3）电脑需求量最大的前十个城市

从图中可以看出：四个一线城市“北京”、“上海”、“广州”、“深圳”对于电脑的需求量肯定是最大的。其次“南京”、“杭州”对于电脑的需求较大。

4）电脑销售量最好的前十个店铺

从图中可以看出：“联想官方旗舰店”的电脑卖的是最好的，其次是“华为官方旗舰店”。相信大家看了这个分析以后，就知道自己应该怎么选择店铺，去选购自己的电脑了。

5）价格最贵的电脑到底是啥样的？

# 将数据按照价格，降序排序
df1 = df.sort_values(by="价格", axis=0, ascending=False)
df1 = df1.iloc[:10,:]
df1.to_excel("价格 排名前10的数据.xlsx",encoding="utf-8-sig",index=None)

结果如下：

根据上表展示的数据中可以看出：电脑最贵的电脑达到了48948元，不知道你见过没有，反正我是没有见过。该电脑的宣传视频，见文章最开始，具体信息是怎么样子的，你可以自己下去查看。