python爬虫——用selenium爬取淘宝商品信息_selenium 淘宝搜索商品信息获取

作者：羊村懒王 | 2024-02-28 14:18:48

踩

selenium 淘宝搜索商品信息获取

python爬虫——用selenium爬取淘宝商品信息

1.附上效果图

2.淘宝网址https://www.taobao.com/
3.先写好头部

browser = webdriver.Chrome()
wait = WebDriverWait(browser,20)#设置等待时间为20秒
url ='https://www.taobao.com/'
keyword = 'python爬虫'#关键词
data_list = []#设置全局变量来存储数据
1
2
3
4
5

4.先找到搜索框并用selenium模拟点击（发现需要登录，我直接扫码登录，没有写模拟登录的过程）
在这里插入图片描述

def search():
    try:
        browser.get(url)#获取网页
        input = wait.until(EC.presence_of_element_located((
            By.XPATH,'//*[@id="q"]'
        )))#等到输入框加载出来
        button = wait.until(EC.element_to_be_clickable((
            By.XPATH,'//*[@id="J_TSearchForm"]/div[1]/button'
        )))#等到搜索框加载出来
        input.send_keys(keyword)#输入关键词
        button.click()#模拟鼠标点击
        total = wait.until(EC.presence_of_element_located((
            By.XPATH,'//*[@id="mainsrp-pager"]/div/div/div/div[1]'
        ))).text#等到python爬虫页面的总页数加载出来
        total = re.sub(r',|，','',total)#发现总页数有逗号
        #数据清洗，将共100页后面的逗号去掉,淘宝里的是大写的逗号
        print(total)
        totalnum = int(re.compile('(\d+)').search(total).group(1))
        # 只取出100这个数字
        print("第1页:")
        get_data()#获取数据(下面才写到)
        return totalnum
    except TimeoutError:
        search()
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24

在这里插入图片描述
5.获取商品信息，在这里我发现前几个会有淘宝的掌柜热卖的广告，属性和其他的不一样，我就用item从上往下数的第几个的方法找到他们

def get_data():
    try:
        lis = browser.find_elements_by_xpath('//div[@class = "items"]/div[@data-category="auctions"]')
        for i in range(len(lis)):
            name = browser.find_elements_by_xpath('.//div[@class="pic"]/a[@class="pic-link J_ClickStat J_ItemPicA"]/img')[i].get_attribute('alt')
            #获取书名,我是从图片那里的属性获取的书名，比较方便
            shopname = browser.find_elements_by_xpath('.//div[@class="shop"]/a[@class="shopname J_MouseEneterLeave J_ShopInfo"]/span[2]')[i].text
            #获取店铺名
            price = browser.find_elements_by_xpath('.//div[@class="price g_price g_price-highlight"]/strong')[i].text
            #获取价格
            paynum = browser.find_elements_by_xpath('.//div[@class="deal-cnt"]')[i].text
            #获取付款人数

            data_dict={}#定义一个字典存储数据
            data_dict["name"] = name
            data_dict["shopname"] = shopname
            data_dict["price"] = price
            data_dict["paynum"] = paynum
            print(data_dict)#输出这个字典
            data_list.append(data_dict)#将数据存入全局变量中
    except TimeoutError:
        get_data()
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22

在这里插入图片描述

6.翻页方法，对比1，2，3页网址，发现只有q和s的属性有用，q是搜索,s是商品数，只需要填写这2个属性，用修改s的属性的方式翻页

def next_page():
    totalnum = search()#获取总页数的值，并且调用search获取第一页数据
    num = 1#初始为1，因为我第一页已经获取过数据了
    while num !=3:#这里我偷懒只爬取了3页
    # while num != totalnum - 1:#首先进来的是第1页，共100页，所以只需要翻页99次
        print("第%s页:" %str(num+1) )
        browser.get('https://s.taobao.com/search?q=python爬虫&s={}'.format(44 * num))
        #用修改s属性的方式翻页
        browser.implicitly_wait(10)
        #等待10秒
        get_data()#获取数据
        time.sleep(3)
        num +=1#自增
1
2
3
4
5
6
7
8
9
10
11
12
13

7.存储方法

def save():
    content = json.dumps(data_list, ensure_ascii=False, indent=2)
    # 把全局变量转化为json数据
    with open("taobao.json", "a+", encoding="utf-8") as f:
        f.write(content)
        print("json文件写入成功")

    with open('taobao.csv', 'w', encoding='utf-8', newline='') as f:
        # 表头
        title = data_list[0].keys()
        # 声明writer
        writer = csv.DictWriter(f, title)
        # 写入表头
        writer.writeheader()
        # 批量写入数据
        writer.writerows(data_list)
    print('csv文件写入完成')
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17

8.调用函数

def main():
    next_page()
    save()


if __name__ == '__main__':
   main()
1
2
3
4
5
6
7

9.最后附上完整代码，因为爬取的是淘宝，我也不敢多爬

import time
from selenium import webdriver
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
import re
import json
import csv

browser = webdriver.Chrome()
wait = WebDriverWait(browser,20)#设置等待时间为20秒
url ='https://www.taobao.com/'
keyword = 'python爬虫'#关键词
data_list = []#设置全局变量来存储数据

def search():
    try:
        browser.get(url)#获取网页
        input = wait.until(EC.presence_of_element_located((
            By.XPATH,'//*[@id="q"]'
        )))#等到输入框加载出来
        button = wait.until(EC.element_to_be_clickable((
            By.XPATH,'//*[@id="J_TSearchForm"]/div[1]/button'
        )))#等到搜索框加载出来
        input.send_keys(keyword)#输入关键词
        button.click()#模拟鼠标点击
        total = wait.until(EC.presence_of_element_located((
            By.XPATH,'//*[@id="mainsrp-pager"]/div/div/div/div[1]'
        ))).text#等到python爬虫页面的总页数加载出来
        total = re.sub(r',|，','',total)#发现总页数有逗号
        #数据清洗，将共100页后面的逗号去掉,淘宝里的是大写的逗号
        print(total)
        totalnum = int(re.compile('(\d+)').search(total).group(1))
        # 只取出100这个数字
        print("第1页:")
        get_data()#获取数据(下面才写到)
        return totalnum
    except TimeoutError:
        search()


def get_data():
    try:
        lis = browser.find_elements_by_xpath('//div[@class = "items"]/div[@data-category="auctions"]')
        for i in range(len(lis)):
            name = browser.find_elements_by_xpath('.//div[@class="pic"]/a[@class="pic-link J_ClickStat J_ItemPicA"]/img')[i].get_attribute('alt')
            #获取书名,我是从图片那里的属性获取的书名，比较方便
            shopname = browser.find_elements_by_xpath('.//div[@class="shop"]/a[@class="shopname J_MouseEneterLeave J_ShopInfo"]/span[2]')[i].text
            #获取店铺名
            price = browser.find_elements_by_xpath('.//div[@class="price g_price g_price-highlight"]/strong')[i].text
            #获取价格
            paynum = browser.find_elements_by_xpath('.//div[@class="deal-cnt"]')[i].text
            #获取付款人数

            data_dict={}#定义一个字典存储数据
            data_dict["name"] = name
            data_dict["shopname"] = shopname
            data_dict["price"] = price
            data_dict["paynum"] = paynum
            print(data_dict)#输出这个字典
            data_list.append(data_dict)#将数据存入全局变量中
    except TimeoutError:
        get_data()

def next_page():
    totalnum = search()#获取总页数的值，并且调用search获取第一页数据
    num = 1#初始为1，因为我第一页已经获取过数据了
    while num !=3:#这里我偷懒只爬取了3页
    # while num != totalnum - 1:#首先进来的是第1页，共100页，所以只需要翻页99次
        print("第%s页:" %str(num+1) )
        browser.get('https://s.taobao.com/search?q=python爬虫&s={}'.format(44 * num))
        #用修改s属性的方式翻页
        browser.implicitly_wait(10)
        #等待10秒
        get_data()#获取数据
        time.sleep(3)
        num +=1#自增



def save():
    content = json.dumps(data_list, ensure_ascii=False, indent=2)
    # 把全局变量转化为json数据
    with open("taobao.json", "a+", encoding="utf-8") as f:
        f.write(content)
        print("json文件写入成功")

    with open('taobao.csv', 'w', encoding='utf-8', newline='') as f:
        # 表头
        title = data_list[0].keys()
        # 声明writer
        writer = csv.DictWriter(f, title)
        # 写入表头
        writer.writeheader()
        # 批量写入数据
        writer.writerows(data_list)
    print('csv文件写入完成')

def main():
    next_page()
    save()


if __name__ == '__main__':
   main()
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/羊村懒王/article/detail/159426