对于同一个网址进行二次爬取时没有获取到数据_scrapy再次请求不到数据

作者：喵喵爱编程 | 2024-07-26 22:10:49

踩

scrapy再次请求不到数据

一、原因
要进行二次解析的域名被过滤了

二、解决


yield scrapy.Request(url=detail_url, meta={'item': item}, callback=self.parse_info, dont_filter=True)
1
2

通过使用dont_filter=True来避免被过滤。

Hope for the best ,but prepare for the worst 。

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/喵喵爱编程/article/detail/887447