当前位置:   article > 正文

python 网页登录selenium_使用selenium+requests登录网页并持久化cookie

python通过cookie长久登录网站

selenium是一款自动化测试利器,可以自动化模拟人的浏览器操作行为,所以也可以用于网络爬虫。本文主要讲一讲怎样用selenium来模拟登录,并持久化cookie,然后用requests爬取页面。

selenium的安装及配置

安装selenium

pip install selenium

配置chrome浏览器webdriver

到这个网站:http://chromedriver.chromium.org/downloads下载chrome浏览器的webdriver文件,需要根据自己电脑装的chrome浏览器版本选择对应合适版本的webdriver文件。

以下载windows系统的webdriver文件为例,下载下来解压缩,把得到的chromedriver.exe文件放到python根目录下的scripts目录下。

chromedriver版本

支持的Chrome版本

v2.41

v67-69

v2.40

v66-68

v2.39

v66-68

v2.38

v65-67

v2.37

v64-66

v2.36

v63-65

v2.35

v62-64

v2.34

v61-63

v2.33

v60-62

v2.32

v59-61

v2.31

v58-60

v2.30

v58-60

v2.29

v56-58

v2.28

v55-57

v2.27

v54-56

v2.26

v53-55

v2.25

v53-55

v2.24

v52-54

v2.23

v51-53

v2.22

v49-52

v2.21

v46-50

v2.20

v43-48

v2.19

v43-47

v2.18

v43-46

v2.17

v42-43

v2.13

v42-45

v2.15

v40-43

v2.14

v39-42

v2.13

v38-41

v2.12

v36-40

v2.11

v36-40

v2.10

v33-36

v2.9

v31-34

v2.8

v30-33

v2.7

v30-33

v2.6

v29-32

v2.5

v29-32

v2.4

v29-32

使用selenium模拟登录:以豆瓣为例

直接上代码:

# coding:utf-8

# 用webdriver登录并获取cookies,并用requests发送请求,以豆瓣为例

from selenium import webdriver

import requests

import time

import json

import sys

reload(sys)

sys.setdefaultencoding('utf-8')

def main():

# 从命令行参数获取登录用户名和密码

user_name = sys.argv[1]

password = sys.argv[2]

# 豆瓣登录页面URL

login_url = 'https://www.douban.com/accounts/login'

# 获取chrome的配置

opt = webdriver.ChromeOptions()

# 在运行的时候不弹出浏览器窗口

# opt.set_headless()

# 获取driver对象

driver = webdriver.Chrome(chrome_options = opt)

# 打开登录页面

driver.get(login_url)

print 'opened login page...'

# 向浏览器发送用户名、密码,并点击登录按钮

driver.find_element_by_name('form_email').send_keys(user_name)

driver.find_element_by_name('form_password').send_keys(password)

# 多次登录需要输入验证码,这里给一个手工输入验证码的时间

time.sleep(6)

driver.find_element_by_class_name('btn-submit').submit()

print 'submited...'

# 等待2秒钟

time.sleep(2)

# 创建一个requests session对象

s = requests.Session()

# 从driver中获取cookie列表(是一个列表,列表的每个元素都是一个字典)

cookies = driver.get_cookies()

# 把cookies设置到session中

for cookie in cookies:

s.cookies.set(cookie['name'],cookie['value'])

# 关闭driver

driver.close()

# 需要登录才能看到的页面URL

page_url = 'https://www.douban.com/accounts/'

# 获取该页面的HTML

resp = s.get(page_url)

resp.encoding = 'utf-8'

print 'status_code = {0}'.format(resp.status_code)

# 将网页内容存入文件

with open('html.txt','w+') as fout:

fout.write(resp.text)

print 'end'

if __name__ == '__main__':

main()

代码分析:

首先,从命令行参数中获取豆瓣账号的用户名和密码。

接着,创建了一个配置对象opt,它主要用于对接下来的操作进行一些配置,比如使用opt.set_headless()函数,可以设置在运行的时候不弹出浏览器窗口。至于其他还支持些什么配置,可以参看官方文档。

接着创建一个chrome浏览器的驱动器对象driver,创建的时候使用了刚刚创建的配置对象opt。然后调用driver对象的get方法,在一个独立的浏览器中打开豆瓣登录页面。

这个时候已经在浏览器中打开了登录页面,接下来的几行代码调用了driver对象的find_element_by_XXX方法,用于选取当前页面的用户名输入框、密码输入框的DOM元素对象,然后调用send_keys方法向输入框中自动输入内容,最后调用登录按钮的submit方法进行登录。这个时候已经完成了模拟人工输入账号、密码、点击登录按钮的全过程,随之获取的cookie等信息已经存储在了driver对象中。

接下来创建了一个requests的Session对象,然后从driver对象中获取了cookie列表,cookie列表是类似于这样的一个结构:

[

{

"name":"xxx",

"value":"xxx",

...

},

{

"name":"xxx",

"value":"xxx",

...

}

]

遍历这个cookie列表,逐个把各个cookie设置到Session对象中,这个时候已经把从driver登录页面获取到的cookie成功设置到Session对象中了。都拿到cookie了,能干什么呢?当然是可以为所欲为了!接下来就可以发挥requests库的优势,去爬那些只有登录后才能访问的各种页面和数据了!

还存在的问题和坑

虽然selenium可以模拟人在浏览器中的手工操作,但是如果在爬取页面的时候太过于频繁了,或者使用了很多个线程,依然很容易被网站的反爬虫机制识别出来,进而被封号、封IP都是有可能的。所以虽然selenium用起来很爽,搭配requests用起来尤其爽,我们还是要克制一点,需要做些伪装,比如在发送的两个请求之间随机间隔几秒钟时间,比如这样:

time.sleep(6 * random.random()) # 在两次请求之间间隔0~6秒的随机时间

就可以有效骗过网站的反爬虫机制,让它把你的爬虫当成一个正常的“人”。

这种方式,平均来讲每3秒可以爬取 一条数据,1分钟可以爬取20条数据,1个小时可以爬取1200条数据,还是比较少的,所以这种方式不适用于需要在短时间内获取大量数据的场景(比如万级、百万级),大数据量的场景还是要借助一些其他的反反爬虫措施。

selenium还无法方便地解决在登录的时候需要输入验证码的问题,这个放在以后研究一下,比如可以在登录页面获取验证码图片,调用一些图像识别库的API来进行自动识别。不过本文在登录豆瓣的时候,采取的方式是弹出浏览器,手工输入验证码,然后等待自动登录。

声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/小蓝xlanll/article/detail/608327
推荐阅读
相关标签
  

闽ICP备14008679号