解决selenium模拟浏览器爬取（淘宝、微博等需要登陆验证的网站）多次登陆问题_selenium 爬 淘宝 每次要登录

在爬取淘宝等需要登陆的网站时，模拟点击打开新的页面往往需要重新登陆，这时可以通过采用本地打开一个浏览器，设置监听端口，在该端口下模拟浏览器，这样浏览器会记住所有的用户行为，只要登陆过一次就不必重复登录。

（本文采用chrome，chromedriver，pycharm工具）

首先，需要找到浏览器的位置，右键点击chrome.exe图标，选择属性，将地址复制下来

用cmd命令打开命令提示符，切换到上一步复制的地址，然后在本地9222端口下打开浏览器，命令如下：

chrome.exe --remote-debugging-port=9222
1

就会自动打开chrome，在地址栏输入

127.0.0.1:9222/json
1

如果有内容说明监听成功，如果没显示内容，检查是否打开其他的chrome

接下来在python代码中模拟浏览器，代码如下：

from selenium.webdriver.chrome.options import Options
chrome_option=Options()
chrome_option.add_argument("--disable-extensions")
chrome_option.add_experimental_option("debuggerAddress", "127.0.0.1:9222")
# path为chromedriver的路径
browser = webdriver.Chrome(executable_path="path",
                           chrome_options=chrome_option)
# url 为需要爬取的网址
browser.get(url)
1
2
3
4
5
6
7
8
9

程序就会在打开的浏览器下打开需要爬取的网址，并且只需要登陆一次，就不必多次登录

如果想实现静默状态下，即不显示浏览器界面，可添加参数

chrome_option.add_argument('headless')
1