python爬虫学习日记(1) scrapy爬取时，报错Filtered offsite request_filtered offsite request to

作者：秋刀鱼在做梦 | 2024-07-26 22:16:36

踩

filtered offsite request to

使用scrapy框架抓取某妹子图网时，只能抓取第一页，第二页报错

[scrapy.spidermiddlewares.offsite] DEBUG: Filtered offsite request to 'www.xxxx.com': <GET http://www.xxxx.com/ent/meinvtupian/list_11_2.html>

度娘找到答案:

因为 Request中请求的 URL 和 allowed_domains 中定义的域名冲突，所以将Request中请求的URL过滤掉了，无法请求

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/秋刀鱼在做梦/article/detail/887468