chrome浏览器爬虫崩溃，怎么办？python + selenium + chrome + headless模式_长时间爬虫,浏览器驱动会掉,怎么解决

chrome浏览器爬虫崩溃，怎么办？python + selenium + chrome + headless模式

1. 背景

• 在使用selenium + chrome浏览器渲染模式爬取数据时，如果并发任务过多，或者爬虫的运行时间很长，那么很容易出现浏览器崩溃的现象，如下：
  

• 这一般是资源消耗过大造成的（据说chrome浏览器有内存泄漏的情况）。那如何解决这个问题呢？

  • 这种情况下，我们首先就会想到使用无界面的浏览器PhantomJS，但是PhantomJS现在年久失修，后继无人，对很多新的特性支持并不够好。不过好在Google今年在chrome中增加了一项新的特性： Headless mode ，这样我们就可以使用无界面的chrome来爬取数据了，占用资源更少，速度更快。而且可喜的是，google的团队承诺会一直维护它…

2. 环境

• 系统：win7
• MongoDB 3.4.6
• python 3.6.1
• IDE：pycharm
• 安装过chrome浏览器（63.0.3239.132 (正式版本) 32 位）
• selenium 3.7.0

• 配置好chromedriver v2.34

• 特别说明：

因为Headless mode 是新推出的特性，只有高级的版本才能使用，并不向前兼容，所以对chrome浏览器和chromedriver的版本有要求： 
1. 对chrome浏览器来说： 
   linux，unix系统需要 chrome浏览器 >= 59 
   Windows系统需要 chrome浏览器 >= 60
2. chromeDriver版本与chrome浏览器匹配：
   这个部分参考文章：http://blog.csdn.net/zwq912318834/article/details/78550666
1
2
3
4
5
6

3. 代码

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.common.action_chains import ActionChains
from selenium.webdriver.common.keys import Keys

chrome_options = webdriver.ChromeOptions()
# 使用headless无界面浏览器模式
chrome_options.add_argument('--headless')
chrome_options.add_argument('--disable-gpu')

# 启动浏览器，获取网页源代码
browser = webdriver.Chrome(chrome_options=chrome_options)
mainUrl = "https://www.taobao.com/"
browser.get(mainUrl)
print(f"browser text = {browser.page_source}")
browser.quit()
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18

• 可以看到已经没有浏览器界面了。
• 一般我们开发的顺序是：1. 首先拿掉这个headless参数，在浏览器界面进行开发； 2. 开发完成稳定之后，加入headless参数，进行测试，观察是否稳定； 3. 如果稳定，再进行部署。