使用selenium遇到网页反爬虫_selenium网站显示空白反爬

作者：不正经 | 2024-02-16 02:25:02

踩

selenium网站显示空白反爬

在爬取马蜂窝南京景点的评论时，模拟浏览器点进景点后发现页面是空白，状态代码是521，即网页反爬虫了。

解决办法：

middlewares.py文件中class ScrapMfwDownloaderMiddleware中的def __init__(self)方法应该写成

option = ChromeOptions()
option.add_experimental_option('excludeSwitches', ['enable-automation']) 
option.add_argument("--disable-blink-features=AutomationControlled")
# 以上是新添加的！加上去之后状态代码就不是521了！就不反爬虫了！
self.driver = webdriver.Chrome(options=option)

还需要添加包：

from selenium.webdriver import ChromeOptions

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/不正经/article/detail/89842?site