Scrapy爬图片入门——静态网站翻页爬虫_scrapy+xpath实现翻页

 接上文爬图片下载：

Scrapy爬图片入门——静态网站_ahc176的博客-CSDN博客

翻页：

通过观察发现url变化是非常有规律的。

 修改image.py:

 代码：

import scrapy
 
from ..items import DemoItem
 
 
class ImageSpider(scrapy.Spider):
    name = 'image'
    #allowed_domains = ['https://www.58pic.com/c/24601329?page=1.html']
    start_urls = ['https://www.58pic.com/c/24601329?page=1.html']
 
    def parse(self, response):
        base_url = '/'.join(response.url.split('/')[:4]) + '/'  # 拼接路径。
        for i in range(1, 11):
            url = base_url + '24601329?page=%d.html' % i
            yield scrapy.Request(url, callback=self.parse_url)  # 交给子函数进行下一步处理。
 
    def parse_url(self, response):
        img_list=response.xpath("//div[@class='list-box col-s-960 clearfix ']/div")
        print(img_list)
        for img in img_list:
             item=DemoItem()
             item["title"]=img.xpath("./a/div[2]/span[2]/text()").extract_first()+'.png'
             item["img_urls"]='http:'+img.xpath("./a/div[@class='image-box']/img/@data-original")[0].extract()
             yield item