python 网页登录selenium_使用selenium+requests登录网页并持久化cookie

selenium是一款自动化测试利器，可以自动化模拟人的浏览器操作行为，所以也可以用于网络爬虫。本文主要讲一讲怎样用selenium来模拟登录，并持久化cookie，然后用requests爬取页面。

selenium的安装及配置

安装selenium

pip install selenium

配置chrome浏览器webdriver

到这个网站：http://chromedriver.chromium.org/downloads下载chrome浏览器的webdriver文件，需要根据自己电脑装的chrome浏览器版本选择对应合适版本的webdriver文件。

以下载windows系统的webdriver文件为例，下载下来解压缩，把得到的chromedriver.exe文件放到python根目录下的scripts目录下。

chromedriver版本

支持的Chrome版本

v2.41

v67-69

v2.40

v66-68

v2.39

v66-68

v2.38

v65-67

v2.37

v64-66

v2.36

v63-65

v2.35

v62-64

v2.34

v61-63

v2.33

v60-62

v2.32

v59-61

v2.31

v58-60

v2.30

v58-60

v2.29

v56-58

v2.28

v55-57

v2.27

v54-56

v2.26

v53-55

v2.25

v53-55

v2.24

v52-54

v2.23

v51-53

v2.22

v49-52

v2.21

v46-50

v2.20

v43-48

v2.19

v43-47

v2.18

v43-46

v2.17

v42-43

v2.13

v42-45

v2.15

v40-43

v2.14

v39-42

v2.13

v38-41

v2.12

v36-40

v2.11

v36-40

v2.10

v33-36

v2.9

v31-34

v2.8

v30-33

v2.7

v30-33

v2.6

v29-32

v2.5

v29-32

v2.4

v29-32

使用selenium模拟登录：以豆瓣为例

直接上代码：

# coding:utf-8

# 用webdriver登录并获取cookies，并用requests发送请求，以豆瓣为例

from selenium import webdriver

import requests

import time

import json

import sys

reload(sys)

sys.setdefaultencoding('utf-8')

def main():

# 从命令行参数获取登录用户名和密码

user_name = sys.argv[1]

password = sys.argv[2]

# 豆瓣登录页面URL

login_url = 'https://www.douban.com/accounts/login'

# 获取chrome的配置

opt = webdriver.ChromeOptions()

# 在运行的时候不弹出浏览器窗口

# opt.set_headless()

# 获取driver对象

driver = webdriver.Chrome(chrome_options = opt)

# 打开登录页面

driver.get(login_url)

print 'opened login page...'

# 向浏览器发送用户名、密码，并点击登录按钮

driver.find_element_by_name('form_email').send_keys(user_name)

driver.find_element_by_name('form_password').send_keys(password)

# 多次登录需要输入验证码，这里给一个手工输入验证码的时间

time.sleep(6)

driver.find_element_by_class_name('btn-submit').submit()

print 'submited...'

# 等待2秒钟

time.sleep(2)

# 创建一个requests session对象

s = requests.Session()

# 从driver中获取cookie列表(是一个列表，列表的每个元素都是一个字典)

cookies = driver.get_cookies()

# 把cookies设置到session中

for cookie in cookies:

s.cookies.set(cookie['name'],cookie['value'])

# 关闭driver

driver.close()

# 需要登录才能看到的页面URL

page_url = 'https://www.douban.com/accounts/'

# 获取该页面的HTML

resp = s.get(page_url)

resp.encoding = 'utf-8'

print 'status_code = {0}'.format(resp.status_code)

# 将网页内容存入文件

with open('html.txt','w+') as fout:

fout.write(resp.text)

print 'end'

if __name__ == '__main__':

main()

代码分析：

首先，从命令行参数中获取豆瓣账号的用户名和密码。

接着，创建了一个配置对象opt，它主要用于对接下来的操作进行一些配置，比如使用opt.set_headless()函数，可以设置在运行的时候不弹出浏览器窗口。至于其他还支持些什么配置，可以参看官方文档。

接着创建一个chrome浏览器的驱动器对象driver，创建的时候使用了刚刚创建的配置对象opt。然后调用driver对象的get方法，在一个独立的浏览器中打开豆瓣登录页面。

这个时候已经在浏览器中打开了登录页面，接下来的几行代码调用了driver对象的find_element_by_XXX方法，用于选取当前页面的用户名输入框、密码输入框的DOM元素对象，然后调用send_keys方法向输入框中自动输入内容，最后调用登录按钮的submit方法进行登录。这个时候已经完成了模拟人工输入账号、密码、点击登录按钮的全过程，随之获取的cookie等信息已经存储在了driver对象中。

接下来创建了一个requests的Session对象，然后从driver对象中获取了cookie列表，cookie列表是类似于这样的一个结构：

[

{

"name":"xxx",

"value":"xxx",

...

},

{

"name":"xxx",

"value":"xxx",

...

}

]

遍历这个cookie列表，逐个把各个cookie设置到Session对象中，这个时候已经把从driver登录页面获取到的cookie成功设置到Session对象中了。都拿到cookie了，能干什么呢？当然是可以为所欲为了！接下来就可以发挥requests库的优势，去爬那些只有登录后才能访问的各种页面和数据了！

还存在的问题和坑

虽然selenium可以模拟人在浏览器中的手工操作，但是如果在爬取页面的时候太过于频繁了，或者使用了很多个线程，依然很容易被网站的反爬虫机制识别出来，进而被封号、封IP都是有可能的。所以虽然selenium用起来很爽，搭配requests用起来尤其爽，我们还是要克制一点，需要做些伪装，比如在发送的两个请求之间随机间隔几秒钟时间，比如这样：

time.sleep(6 * random.random()) # 在两次请求之间间隔0~6秒的随机时间

就可以有效骗过网站的反爬虫机制，让它把你的爬虫当成一个正常的“人”。

这种方式，平均来讲每3秒可以爬取 一条数据，1分钟可以爬取20条数据，1个小时可以爬取1200条数据，还是比较少的，所以这种方式不适用于需要在短时间内获取大量数据的场景(比如万级、百万级)，大数据量的场景还是要借助一些其他的反反爬虫措施。

selenium还无法方便地解决在登录的时候需要输入验证码的问题，这个放在以后研究一下，比如可以在登录页面获取验证码图片，调用一些图像识别库的API来进行自动识别。不过本文在登录豆瓣的时候，采取的方式是弹出浏览器，手工输入验证码，然后等待自动登录。