赞
踩
Selenium 是一个用于 Web 应用程序测试的工具。最初是为网站自动化测试而开发的,可以直接运行在浏览器上,支持的浏览器包括 IE(7, 8, 9, 10, 11),Mozilla Firefox,Safari,Google Chrome,Opera 和 Edge 等。
爬虫中使用它是为了解决 requests 无法直接执行 JavaScript 代码的问题。Selenium 本质上是通过驱动浏览器,彻底模拟浏览器的操作,好比跳转、输入、点击、下拉等,来拿到网页渲染之后的结果。Selenium 是 Python 的一个第三方库,对外提供的接口能够操作浏览器,从而让浏览器完成自动化的操作。
Selenium 能模拟浏览器功能自动执行网页中的 JavaScript 代码,实现动态加载。
谷歌浏览器驱动下载地址:https://registry.npmmirror.com/binary.html?path=chromedriver/
查看自己谷歌浏览器的版本,我这里的版本是正式版本116.0.5845.188,驱动下载地址最新的只有114.0.5735.90,所以只能去官网的测试页面下载118.0.5993.70版本的驱动(https://googlechromelabs.github.io/chrome-for-testing/#stable,版本向下兼容),然后把下载的压缩包解压,将exe文件放入 PyCharm 项目的根目录下。
之后执行pip install selenium命令,安装 selenium 库。
- from selenium import webdriver
-
- # 创建浏览器操作对象
- path = 'chromedriver.exe'
- browser= webdriver.Chrome(path)
-
- # 访问网站
- url = 'https://www.baidu.com'
-
- browser.get(url)
- # content = browser.page_source
- # print(content)
需要注意的是,如果你的 selenium 是4.11.2以上的版本,不需要设置driver.exe的路径,selenium 可以自己处理浏览器的驱动程序,因此代码直接改为brower = webdriver.Chrome()即可。
运行代码,得到下面的效果:
自动化工具要做的就是模拟鼠标和键盘来操作点击、输入等等元素,但是操作这些元素的前提是找到它们,WebDriver 提供了很多元素定位的方法:
- from selenium import webdriver
- from selenium.webdriver.common.by import By
-
- # 创建浏览器操作对象
- # path = 'chromedriver.exe'
- browser= webdriver.Chrome()
-
- # 访问网站
- url = 'https://www.baidu.com'
- browser.get(url)
-
- button = browser.find_element(By.ID, 'su')
- # button = browser.find_elements(By.ID, 'su')
- print(button)
- button = browser.find_element(By.NAME, 'wd')
- print(button)
- button = browser.find_element(By.XPATH, '//input[@id="su"]')
- print(button)
- button = browser.find_elements(By.TAG_NAME, 'input')
- print(button)
- button = browser.find_elements(By.CSS_SELECTOR, '#su')
- print(button)
- button = browser.find_elements(By.LINK_TEXT, '地图')
- print(button)
- button = browser.find_elements(By.PARTIAL_LINK_TEXT, '地')
- print(button)
- button = browser.find_element(By.CLASS_NAME, 'wrapper_new')
- print(button)
当我们定位到元素之后,自然就要考虑如何获取到元素的各种信息,selenium 给我们提供了获取元素不同信息的方法:
- from selenium import webdriver
- from selenium.webdriver.common.by import By
-
- # 创建浏览器操作对象
- # path = 'chromedriver.exe'
- browser= webdriver.Chrome()
-
- # 访问网站
- url = 'https://www.baidu.com'
- browser.get(url)
-
- button = browser.find_element(By.ID, 'su')
- print(input.get_attribute('class'))
- input = browser.find_element(By.ID, 'su')
- print(input.tag_name)
- input = browser.find_element(By.ID, 'su')
- print(input.text)
- input = browser.find_element(By.ID, 'su')
- print(input.location)
- input = browser.find_element(By.ID, 'su')
- print(input.size)
页面交互指的是我们平时在浏览器上的各种操作,比如输入文本、点击链接、回车、下拉框等,下面就演示 selenium 是如何进行页面交互的。
- #!/usr/bin/env python2.7
- # -*- coding:utf-8 -*-
- from selenium import webdriver
- from selenium.webdriver.common.by import By
- import time
- import sys
-
-
- def test(types):
- # 创建浏览器操作对象
- # path = 'chromedriver.exe'
-
-
- # 访问网站
- url = 'https://www.baidu.com'
- browser.get(url)
-
- if types=='输入文本':
- # 定位输入框
- input = browser.find_element(By.ID, 'kw')
- # 输入文本selenium
- input.send_keys('selenium')
- time.sleep(2)
- elif types=='点击':
- # 定位输入框
- input = browser.find_element(By.ID, 'kw')
- # 输入文本selenium
- input.send_keys('selenium')
- time.sleep(2)
-
- # 定位百度一下的按钮
- button = browser.find_element(By.ID, 'su')
- # 点击按钮
- button.click()
- time.sleep(2)
- elif types=='清除文本':
- # 访问网站
- url = 'https://www.baidu.com'
- browser.get(url)
-
- # 定位输入框
- input = browser.find_element(By.ID, 'kw')
- # 输入文本selenium
- input.send_keys('selenium')
- time.sleep(2)
-
- # 清除selenium
- input.clear()
- time.sleep(2)
- elif types=='回车确认':
- # 访问网站
- url = 'https://www.baidu.com'
- browser.get(url)
-
- # 定位输入框
- input = browser.find_element(By.ID, 'kw')
- # 输入文本selenium
- input.send_keys('selenium')
- time.sleep(2)
-
- # 回车查询
- input.submit()
- time.sleep(2)
- elif types=='运行JavaScript':
- # 访问网站
- url = 'https://www.baidu.com'
- browser.get(url)
-
- # 定位输入框
- input = browser.find_element(By.ID, 'kw')
- # 输入文本selenium
- input.send_keys('selenium')
- time.sleep(2)
-
- # 回车查询
- input.submit()
- time.sleep(2)
-
- # js代码
- js_bottom = 'document.documentElement.scrollTop=100000'
- # 下拉进度条,页面滑动
- browser.execute_script(js_bottom)
- time.sleep(2)
- elif types=='前进后退':
- # 定位输入框
- input = browser.find_element(By.ID, 'kw')
- # 输入文本selenium
- input.send_keys('selenium')
- time.sleep(2)
-
- # 回车查询
- input.submit()
- time.sleep(2)
-
- # js代码
- js_bottom = 'document.documentElement.scrollTop=100000'
- # 页面滑动
- browser.execute_script(js_bottom)
- time.sleep(2)
-
- # 定位下一页的按钮
- next = browser.find_element(By.XPATH, '//a[@class="n"]')
- # 点击下一页
- next.click()
- time.sleep(2)
-
- # 返回到上一页面
- browser.back()
- time.sleep(2)
-
- # 前进到下一页
- browser.forward()
- time.sleep(2)
- else:
- print "请输入正确的指令: 1.输入文本 2.点击 3.清除文本 4.回车确认 5.运行JavaScript 6.前进后退"
-
- time.sleep(2)
- # 关闭浏览器
- browser.close()
-
-
- if __name__ == '__main__':
- browser = webdriver.Chrome(executable_path='/Users/wuwei/Desktop/soft/chromedriver')
-
- gettypes=sys.argv[1]
- # 运行示例:python seleniumtest.py '输入文本'
- test(gettypes)
-
-
-
-
Copyright © 2003-2013 www.wpsshop.cn 版权所有,并保留所有权利。