【0基础学爬虫】爬虫基础之自动化工具 DrissionPage 的使用

概述

前三期文章中已经介绍到了 Selenium 与 Playwright 、Pyppeteer 的使用方法，它们的功能都非常强大。而本期要讲的 DrissionPage 更为独特，强大，而且使用更为方便，目前检测少，强烈推荐！！！

这里推荐观看十一姐 B 站 DrissionPage 系列视频，很详细：

合集·爬虫自动化 DrissionPage 实战案例：
https://space.bilibili.com/308704191/channel/collectiondetail?sid=1947582

DrissionPage 相关资料：

官方文档：https://www.drissionpage.cn
Drissionpage “姊妹库”：https://gitee.com/haiyang0726/SaossionPage

DrissionPage 的使用

介绍

DrissionPage 是一个基于 python 的网页自动化工具。它既能控制浏览器，也能收发数据包，还能把两者合而为一。可兼顾浏览器自动化的便利性和 requests 的高效率。它功能强大，内置无数人性化设计和便捷功能。它的语法简洁而优雅，代码量少，对新手友好。

• 支持系统：Windows、Linux、Mac；

• python 版本：3.6 及以上；

• 支持应用：Chromium 内核浏览器（如 Chrome、Edge），electron 应用；

特性

强大的自研内核

本库采用全自研的内核，内置了无数实用功能，对常用功能作了整合和优化，对比 selenium，有以下优点：

• 无 webdriver 特征；
• 无需为不同版本的浏览器下载不同的驱动；
• 运行速度更快；
• 可以跨 iframe 查找元素，无需切入切出；
• 把 iframe 看作普通元素，获取后可直接在其中查找元素，逻辑更清晰；
• 可以同时操作浏览器中的多个标签页，即使标签页为非激活状态，无需切换；
• 可以直接读取浏览器缓存来保存图片，无需用 GUI 点击另存；
• 可以对整个网页截图，包括视口外的部分（90 以上版本浏览器支持）；
• 可处理非 open 状态的 shadow-root。

亮点功能

除了以上优点，本库还内置了无数人性化设计。

• 极简的语法规则，集成大量常用功能，代码更优雅；
• 定位元素更加容易，功能更强大稳定；
• 无处不在的等待和自动重试功能。使不稳定的网络变得易于控制，程序更稳定，编写更省心；
• 提供强大的下载工具。操作浏览器时也能享受快捷可靠的下载功能；
• 允许反复使用已经打开的浏览器。无需每次运行从头启动浏览器，调试超方便；
• 使用 ini 文件保存常用配置，自动调用，提供便捷的设置，远离繁杂的配置项；
• 内置 lxml 作为解析引擎，解析速度成几个数量级提升；
• 使用 POM 模式封装，可直接用于测试，便于扩展；
• 高度集成的便利功能，从每个细节中体现；
• 还有很多细节，这里不一一列举，欢迎实际使用中体验。

安装升级

# 安装
pip install DrissionPage
 
# 升级最新稳定版
pip install DrissionPage --upgrade
 
# 指定版本升级
pip install DrissionPage==4.0.0b17
1
2
3
4
5
6
7
8

• 如何在无界面 Linux 使用:

CentOS 请参考这篇文章：

linux 部署说明：https://blog.csdn.net/sinat_39327967/article/details/132181129

Ubuntu 请参考这篇文章：

DrissionPage 在 Ubuntu Linux 的使用：https://zhuanlan.zhihu.com/p/674687748

使用

访问网页

from DrissionPage import ChromiumPage, ChromiumOptions

co = ChromiumOptions().set_paths(browser_path=r"C:\Program Files (x86)\Microsoft\Edge\Application\msedge.exe")
# 1、设置无头模式：co.headless(True)
# 2、设置无痕模式：co.incognito(True)
# 3、设置访客模式：co.set_argument('--guest')
# 4、设置请求头user-agent：co.set_user_agent()
# 5、设置指定端口号：co.set_local_port(7890)
# 6、设置代理：co.set_proxy('http://localhost:1080')
page = ChromiumPage(co)

page.get('https://gitee.com/login', retry=3, timeout=15, interval=2)

# 定位到账号文本框，获取文本框元素
ele = page.ele('#user_login')
# 输入对文本框输入账号
ele.input('您的账号')
# 定位到密码文本框并输入密码
page.ele('#user_password').input('您的密码')
# 点击登录按钮
page.ele('@value=登 录').click()
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21

获取浏览器路径的方法:

• 这里的浏览器路径不一定是 Chrome，Edge 等 Chromium 内核的浏览器都可以；
• 打开浏览器，在地址栏输入 chrome://version（Edge 输入 edge://version），回车
  如图所示，红框中就是要获取的路径：

• 此法不限于 Windows，有界面的 Linux 也是这样取路径。

• get()

该方法用于跳转到一个网址。当连接失败时，程序会进行重试：

获取查找元素

本库提供一套简洁易用的语法，用于快速定位元素，并且内置等待功能、支持链式查找，减少了代码的复杂性。

同时也兼容 css selector、xpath、selenium 原生的 loc 元组。

定位元素大致分为三种方法：

• 在页面或元素内查找子元素；
• 根据 DOM 结构相对定位；
• 根据页面布局位置相对定位；

• xpath 方式：

# 输入
page.ele('xpath://input[@id="bindMobileFree"]').input("123456789")
# 点击
page.ele('x://span[@class="getYZM_btn"]').click()
1
2
3
4

• 其他方式：

from DrissionPage import SessionPage

page = SessionPage()
page.get('https://gitee.com/explore')

# 获取包含“全部推荐项目”文本的 ul 元素
ul_ele = page.ele('tag:ul@@text():全部推荐项目')  

# 获取该 ul 元素下所有 a 元素
titles = ul_ele.eles('tag:a')  

# 遍历列表，打印每个 a 元素的文本
for i in titles:  
    print(i.text)
1
2
3
4
5
6
7
8
9
10
11
12
13
14

foot = page.ele('#footer-left')  # 用 id 查找元素
first_col = foot.ele('css:>div')  # 使用 css selector 在元素的下级中查找元素（第一个）
lnk = first_col.ele('text:命令学')  # 使用文本内容查找元素
text = lnk.text  # 获取元素文本
href = lnk.attr('href')  # 获取元素属性值

print(text, href, '\n')

# 简洁模式串联查找
text = page('@id:footer-left')('css:>div')('text:命令学').text
print(text)
1
2
3
4
5
6
7
8
9
10
11

等待

• ✅️️ 页面对象的等待方法：

  • 声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/繁依Fanyi0/article/detail/717350