python scrapy_redis 解决断点续爬时request请求为空, 再次启动时爬取失败办法

如果在使用scrapy进行断点续爬的时候 正好request中没有要爬取的链接了, 这个时候如果直接启动爬虫项目则会续爬失败, 达不到断点续爬的目的, 为此经过测试得出解决办法

注意点一

需要在次启动程序时候, 当作新的一个请求, 从新往redis中设置start_url值, 但此时需要注意, 翻页的时候就得添加dont_filter=True, 因为如果不加scrapy会自动进行去重请求, 假如翻页的这几个链接已经被爬取过了, 当从头跑的时候, 经过去重集合去重, 会认为所有的页码都已经爬取过了, 然后爬虫程序就停止了

注意点二

当翻页的时候就不能将page下所有链接直接进行Request请求, 因为当添加了dont_filter=True后, 会导致得到的请求直接扔到队列里面, 不进行去重(会导致redis中的request队列中存在很多无用无效), 因为在发请求的时候, 只获取下一页的链接, 进行Request请求

        # 下一页(不建议, 会导致redis中存在很多无用无效请求)
        next_hrefs = resp.xpath('//*[@id="main"]/div[4]/a/@href').extract()
        for next_href in next_hrefs:
            yield scrapy.Request(
                url=resp.urljoin(next_href),
                callback=self.parse,
                dont_filter=True
            )

        # 下一页(建议这样写)
        next_href = resp.xpath('//*[@id="main"]/div[4]/a[contains(text(),"下一页")]/@href').extract_first()
        if next_href:
            yield scrapy.Request(
                url=resp.urljoin(next_href),
                callback=self.parse,
                dont_filter=True
            )

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18