菜鸟追梦旅行

这个屌丝很懒，什么也没留下！

热门标签

selenium超详解

作者：菜鸟追梦旅行 | 2024-02-19 00:51:21

踩

selenium

讲解selenium之前，为了让读者更明白selenium，我会贴一些网站的图片和代码。
但是，【注意！！！】
【以下网站图片和代码仅供展示！！如果大家需要练习，请自己再找别的网站练习。】
【尤其是政府网站，千万不能碰哦！】

一、Selenium + PhantomJS | Chrome | Firefox

1、Selenium概述

定义
- 开源的Web自动化测试工具
特点
- 可根据指令操控浏览器
- 只是工具，必须与第三方浏览器结合使用
安装
- Linux: sudo pip3 install selenium
- Windows: python -m pip install selenium

2、PhantomJS概述

定义
- 无界面浏览器(又称无头浏览器) 在内存中进行页面加载，高效
使用场景
- 页面自动化测试：自动登录网站并做操作然后检查结果是否正常
- 网页监控：定期打开页面，检查网站是否正常加载，加载结果是否符合预期，加载速度如何等。
- 网络爬虫：获取页面中数据

3、环境安装

以下三种方式安装一组即可
- selenium + PhantomJS
- selenium + chromedriver + Chrome
- selenium + geckodriver + Firefox
说明
- 以上3种组合任选其一，都可以实现基于selenium的强大网络爬虫
- chrome需要安装浏览器驱动器：chromedriver
- Firefox需要安装浏览器驱动器：geckodriver
下载地址
- chromedriver：http://npm.taobao.org/mirrors/chromedriver/
- geckodriver：https://github.com/mozilla/geckodrive/releases
- PhantomJS：https://phantomjs.org/downloqd.html
chromedriver版本要和浏览器大版本对应，否则会闪退
Windows安装
- 下载对应版本的PhantomJS、chromedriver、geckodriver
- 把解压后文件拷贝到python安装目录的Scripts目录下
- 查看python安装目录（cmd命令行）: where python
Ubuntu安装
- 下载后解压
- 拷贝解压后的文件到 /usr/bin/ 目录下
- 添加x权限
命令实现
- 解压：tar -zxvf xxx.tar.gz
- 拷贝：sudo cp chromedriver /usr/bin
- 权限：sudo chmod +x /usr/bin/chromedriver
Windows 和 Ubuntu 验证 - 终端
- from selenium import webdriver
- browser = webdriver.Chrome()
- browser = webdriver.Firefox()
- 如果浏览器能够正常打开，则说明环境安装没有问题

4、selenium + Chrome

实例代码 - 打开Chrome浏览器，并打开百度首页

# 导入selenium的webdriver接口
from selenium import webdriver

# 1.创建浏览器对象 - 此时浏览器打开
browser = webdriver.Chrome()
# 2.输入百度地址并确认
browser.get('http://www.baidu.com/')
# 3.关闭浏览器
browser.quit()
1
2
3
4
5
6
7
8
9

示例代码 - 打开被堵，输入关键字搜索，查看结果页

from selenium import webdriver

# 1、创建浏览器对象 - 打开浏览器
driver = webdriver.Chrome()
# 2、打开百度首页
driver.get('http://www.baidu.com/')
# 3、找到搜索框节点，并发送搜索关键字
driver.find_element_by_xpath('//*[@id="kw"]').send_keys('清华大学')
# 4、找到 百度一下 按钮，并点击
driver.find_element_by_xpath('//*[@id="su"]').click()
1
2
3
4
5
6
7
8
9
10

find_element_by_xpath可以直接在网页中复制xpath获取
请添加图片描述

二、Selenium常用方法

详细用法：https://blog.csdn.net/weixin_36279318/article/details/79475388

1、浏览器对象

浏览器对象browser常用方法及属性
- browser.get()：地址栏输入url地址并确认
- browser.quit()：关闭浏览器
- browser.close()：关闭当前页
- browser.gmaximize_window()：浏览器窗口最大化
- browser.page_source：HTML结构源码。（即前端的源码）
- browser.page_source.find(‘字符串’)：从源码中查找指定字符串，返回源码大概的位置。如果没有就返回-1，常用于判断最后一页
  - ```
  # 假设说网页非最后一页的“下一页”的源代码为class='pn-next'
  # 网页最后一页的“下一页”的源代码为class='pn-next disabled'
  browser.page_source.find('pn-next disabled') == -1		# 说明不是最后一页
  1
  2
  3
```

2、定位节点

元素查找 - 返回值为节点对象或节点对象的列表

定位一个元素	定位多个元素	含义
find_element_by_id()	find_elements_by_id()	通过元素id定位
find_element_by_name()	find_elements_by_name()	通过元素name定位
find_element_by_class_name()	find_elements_by_class_name()	通过类名进行定位
find_element_by_xpath()	find_elements_by_xpath()	通过xpath表达式定位
find_element_by_link_text()	find_elements_by_link_text()	通过完整超链接定位
find_element_by_partical_link_text()	find_elements_by_partical_link_text()	通过部分链接定位
find_element_by_tag_name()	find_elements_by_tag_name()	通过标签定位
find_element_by_css_selector()	find_elements_by_css_selector()	通过css选择器进行定位

实例演示

<!--假设页面源代码如下：-->
<html>
  <head>
  <body link="#0000cc">
    <a id="result_logo" href="/" onmousedown="return c({'fm':'tab','tab':'logo'})">
    <form id="form" class="fm" name="f" action="/s">
      <span class="soutu-btn"></span>
        <input id="kw" class="s_ipt" name="wd" value="" maxlength="255" autocomplete="off">
1
2
3
4
5
6
7
8

查找元素：

# 通过id定位
driver.find_element_by_id("kw")

# 通过name定位
driver.find_element_by_name("wd")

# 通过class name定位
driver.find_element_by_class_name("s_ipt")

# 通过tag name定位
driver.find_element_by_tag_name("input")

# 通过xpath定位，xpath定位有N种写法，这里列几个常用写法
driver.find_element_by_xpath("//*[@id='kw']")
driver.find_element_by_xpath("//*[@name='wd']")
driver.find_element_by_xpath("//input[@class='s_ipt']")
driver.find_element_by_xpath("/html/body/form/span/input")
driver.find_element_by_xpath("//span[@class='soutu-btn']/input")
driver.find_element_by_xpath("//form[@id='form']/span/input")
driver.find_element_by_xpath("//input[@id='kw' and @name='wd']")

# 通过css定位，css定位有N种写法，这里列几个常用写法
driver.find_element_by_css_selector("#kw")
driver.find_element_by_css_selector("[name=wd]")
driver.find_element_by_css_selector(".s_ipt")
driver.find_element_by_css_selector("html > body > form > span > input")
driver.find_element_by_css_selector("span.soutu-btn> input#kw")
driver.find_element_by_css_selector("form#form > span > input")

--------------------------------------------------------------------------
# 假设页面上有一组文本链接：
<a class="mnav" href="http://news.baidu.com" name="tj_trnews">新闻</a>
<a class="mnav" href="http://www.hao123.com" name="tj_trhao123">hao123</a>
--------------------------------------------------------------------------
# 通过link text定位
driver.find_element_by_link_text("新闻")
driver.find_element_by_link_text("hao123")

# 通过partial link text定位
driver.find_element_by_partial_link_text("新")
driver.find_element_by_partial_link_text("hao")
driver.find_element_by_partial_link_text("123")
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42

3、节点对象方法

节点对象常用属性及方法
- node.send_keys()：向文本框发送内容
- node.click()：点击
- node.clear()：清空文本
- node.get_attribute(‘属性名’)：获取节点属性值
- node.text：获取节点文本内容（包含子节点和后代节点）

4、selenium+Chrome案例

思路
- 打开浏览器输入top100主页地址
- 使用selenium的xpath找到电影信息节点对象列表
- 依次遍历每个元素，并依次提取每个电影信息
- 可利用find_element_by_link_text()判断是否为最后1页
重要
- 当selenium在页面中找不到指定节点时会抛出异常
- 可用try except语句，当抛出异常时则为最后1页
爬取一页数据
爬取多页数据：

三、Selenium 高级操作

1、设置无界面模式

设置无界面模式（Chrome | Firefox）

不会打开网页，但是一样能获取到数据。

2、selenium执行JS脚本

浏览器对象执行JS脚本方法
- browser.execute_script()
最常用脚本
- 把滚动条拉到底部

3、练习

目标地址
- 由于各种原因不便写出地址，各位随便找个网页就可以
抓取目标
- 抓取爬虫书籍的所有商品信息
- 商品名称、商品价格、评价数量、商品商家
爬取思路
- 打开网站，到商品搜索页
- 匹配所有商品节点对象列表
- 把节点对象的文本内容取出来，查看规律，是否有更好的处理办法
- 提取完1页后，判断如果不是最后1页，则点击下一页
实现步骤
- 节点xpath
  - 首页搜索框：//*[@id=“key”]
  - 首页搜索按钮：//*[@id=“search”]/div/div[2]/button
  - 商品信息节点对象列表：//*[@id=“J_goodsList”]/ul/li
  - 每个商品的具体信息xpath
    - 名称：.//div[@class=“p-price”]/strong
    - 价格：.//div[@class=“p-name p-name-type-2”]/a/em
    - 评论：.//div[@class=“p-commit”]/strong
    - 商家：.//div[@class=“p-shop”]/span
  从爬取到的结果看，格式并不统一。
  所以只能找他们的xpath进行获取数据

4、selenium键盘操作

Selenium中的Key模块为我们提供了模拟键盘按键的方法，那就是send_keys()方法。它不仅可以模拟键盘输入，也可以模拟键盘的操作。

常用的键盘操作如下：

模拟键盘按键	说明
send_keys(Keys.BACK_SPACE)	输入删除键（BackSpace）
send_keys(Keys.SPACE)	输入空格键(Space)
send_keys(Keys.TAB)	输入制表键(Tab)
send_keys(Keys.ESCAPE)	输入回退键（Esc）
send_keys(Keys.ENTER)	输入回车键（Enter）

组合键的使用

模拟键盘按键	说明
send_keys(Keys.CONTROL, ‘a’)	全选（Ctrl+A）
send_keys(Keys.CONTROL, ‘c’)	复制（Ctrl+C）
send_keys(Keys.CONTROL, ‘x’)	剪切（Ctrl+X）
send_keys(Keys.CONTROL, ‘v’)	粘贴（Ctrl+V）
send_keys(Keys.F1…Fn)	键盘 F1…Fn

5、selenium鼠标操作

在 WebDriver 中，将这些关于鼠标操作的方法封装在 ActionChains 类提供。

方法	说明
ActionChains(driver)	构造ActionChains对象
context_click()	执行鼠标悬停操作
move_to_element(above)	右击
double_click()	双击
drag_and_drop()	拖动
move_to_element(above)	执行鼠标悬停操作
context_click()	用于模拟鼠标右键操作，在调用时需要指定元素定位
perform()	执行所有 ActionChains 中存储的行为，可以理解成是对整个操作的提交动作

使用流程
- 导入鼠标事件类：from selenium.webdriver import ActionChains
- 实例化鼠标对象：ActionChains(browser)
- 指定鼠标行为：move_to_element(node)
- 执行鼠标行为：perform()
使用示例
- ActionChains(browser).move_to_element(node).perform()
实例演示

from selenium import webdriver
#0.引入 ActionChains 类
from selenium.webdriver.common.action_chains import ActionChains

#1.创建Chrome浏览器对象，这会在电脑上在打开一个浏览器窗口
driver = webdriver.Firefox(executable_path ="F:\GeckoDriver\geckodriver")

driver.get("https://www.baidu.com")

#2.定位到要悬停的元素
element= driver.find_element_by_link_text("设置")

#3.对定位到的元素执行鼠标悬停操作
ActionChains(driver).move_to_element(element).perform()

#找到链接
elem1=driver.find_element_by_link_text("搜索设置")
elem1.click()

#通过元素选择器找到id=sh_2,并点击设置
elem2=driver.find_element_by_id("sh_1")
elem2.click()

#保存设置
elem3=driver.find_element_by_class_name("prefpanelgo")
elem3.click()
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26

以百度为例，找到“高级搜索”并点击
- 查看https://www.baidu.com/的源代码，发现并没有“高级搜索”
- 当我们将鼠标移动到”设置“，此时在搜索源代码，发现有“高级搜索”

6、selenium切换句柄

使用网站类型
- 页面中点开链接出现新的窗口，但是浏览器对象browse还是之前页面的对象，需要切换到不同的窗口进行操作
应对方案（browser.switch_to.window()）
- 先获取当前所有句柄（列表）
- 再切换到指定句柄（利用列表下标索引取值）
- all_handles = browser.window_handles
- browser.switch_to.window(all_handles[1])
  
  【注意！！】以上图片仅供展示，请勿爬取。

请添加图片描述
【注意！！】以上图片仅供展示，请勿爬取。

【注意！！】以下代码仅供展示，请大家换个网站练习。
请添加图片描述

-- mysql 存储数据
create database mzbdb charset utf8;
use mzbdb;
create table mzbtab(
	name varchar(30),
    code varchar(20)
)charset=utf8;
1
2
3
4
5
6
7