python3实现爬取淘宝页面的商品的数据信息（selenium+pyquery+mongodb）_python爬取淘宝商品信息

1.环境须知
做这个爬取的时候需要安装好python3.6和selenium、pyquery等等一些比较常用的爬取和解析库，还需要安装MongoDB这个分布式数据库。
2.直接上代码
spider.py

import re
from config import *
import pymongo
from selenium import webdriver
from selenium.common.exceptions import TimeoutException
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from pyquery import PyQuery as pq
#mongodb配置信息
client = pymongo.MongoClient(MONGO_URL)
db = client[MONGO_DB]
#打开chrome浏览器
browser = webdriver.Chrome()
wait = WebDriverWait(browser, 10)
#第一次搜索页面的方法
def search
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17