selenium配置chrome浏览器的选项_default_content_setting_values

在使用selenium浏览器渲染技术，爬取网站信息时，默认情况下就是一个普通的纯净的chrome浏览器，而我们平时在使用浏览器时，经常就添加一些插件，扩展，代理之类的应用。相对应的，当我们用chrome浏览器爬取网站时，可能需要对这个chrome做一些特殊的配置，以满足爬虫的行为。

常用的行为有：
禁止图片和视频的加载：提升网页加载速度。
添加代理：用于翻墙访问某些页面，或者应对IP访问频率限制的反爬技术。
使用移动头：访问移动端的站点，一般这种站点的反爬技术比较薄弱。
添加扩展：像正常使用浏览器一样的功能。
设置编码：应对中文站，防止乱码。
阻止JavaScript执行。

chromeOptions
chromeOptions 是一个配置 chrome 启动时属性的类。

options = webdriver.ChromeOptions()

禁止图片加载

prefs = {“profile.managed_default_content_settings.images”: 2}
options.add_experimental_option(“prefs”, prefs)

浏览器不提供可视化页面.

linux下如果系统不支持可视化不加这条会启动失败
options.add_argument(’–headless’)

添加代理

在选择代理时，尽量选择静态IP，才能提升爬取的稳定性。因为如果选择selenium来做爬虫，说明网站的反爬能力比较高，对网页之间的连贯性，cookies，用户状态等有较高的监测。如果使用动态匿名IP，每个IP的存活时间是很短的（1~3分钟）。
chromeOptions.add_argument("–proxy-server=http://202.20.16.82:10152")

添加UA

options.add_argument(‘user-agent=“MQQBrowser/26 Mozilla/5.0 (Linux; U; Android 2.3.7; zh-cn; MB200 Build/GRJ22; CyanogenMod-7) AppleWebKit/533.1 (KHTML, like Gecko) Version/4.0 Mobile Safari/533.1”’)

#设置编码格式

设置默认编码为 utf-8，也就是中文

options.add_argument(‘lang=zh_CN.UTF-8’)

模拟移动设备

移动设备user-agent表格：http://www.fynas.com/ua
因为移动版网站的反爬虫的能力比较弱
#通过设置user-agent，用来模拟移动设备
#比如模拟 android QQ浏览器
options.add_argument(‘user-agent=“MQQBrowser/26 Mozilla/5.0 (Linux; U; Android 2.3.7; zh-cn; MB200 Build/GRJ22; CyanogenMod-7) AppleWebKit/533.1 (KHTML, like Gecko) Version/4.0 Mobile Safari/533.1”’)
#模拟iPhone 6
options.add_argument(‘user-agent=“Mozilla/5.0 (iPhone; CPU iPhone OS 9_1 like Mac OS X) AppleWebKit/601.1.46 (KHTML, like Gecko) Version/9.0 Mobile/13B143 Safari/601.1”’)

禁用浏览器弹窗

prefs = {
‘profile.default_content_setting_values’ : {
‘notifications’ : 2
}
}
options.add_experimental_option(‘prefs’,prefs)

禁用JavaScript

option.add_argument("–disable-javascript")

以最高权限运行

options.add_argument(’–no-sandbox’)

指定浏览器分辨率

options.add_argument(‘window-size=1920x3000’)

隐藏滚动条, 应对一些特殊页面

options.add_argument(’–hide-scrollbars’)

谷歌文档提到需要加上这个属性来规避bug

options.add_argument(’–disable-gpu’)

添加crx插件

option.add_extension(‘d:\crx\AdBlock_v2.17.crx’)

driver=webdriver.Chrome(chrome_options=options)