Python爬虫基础之Selenium详解_python selenium_selenium python 爬虫

  需要注意的是，如果你的 selenium 是`4.11.2`以上的版本，不需要设置`driver.exe`的路径，selenium 可以自己处理浏览器的驱动程序，因此代码直接改为`brower = webdriver.Chrome()`即可。  
   运行代码，得到下面的效果：


![](https://img-blog.csdnimg.cn/5d6dd898d94f4396a6575c39a97c4e6a.png#pic_center)


## 5. Selenium的元素定位


  自动化工具要做的就是模拟鼠标和键盘来操作点击、输入等等元素，但是操作这些元素的前提是找到它们，WebDriver 提供了很多元素定位的方法：


* **根据标签 id 获取元素：**
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15

from selenium import webdriver
from selenium.webdriver.common.by import By

创建浏览器操作对象

path = ‘chromedriver.exe’

browser= webdriver.Chrome()

访问网站

url = ‘https://www.baidu.com’
browser.get(url)

button = browser.find_element(By.ID, ‘su’)

button = browser.find_elements(By.ID, ‘su’)

print(button)

* **根据标签 name 属性的值获取元素：**
1

button = browser.find_element(By.NAME, ‘wd’)
print(button)

* **根据 Xpath 语句获取元素；**
1

button = browser.find_element(By.XPATH, ‘//input[@id=“su”]’)
print(button)

* **根据标签名获取元素：**
1

button = browser.find_elements(By.TAG_NAME, ‘input’)
print(button)

* **根据 bs4 语法获取元素：**
1

button = browser.find_elements(By.CSS_SELECTOR, ‘#su’)
print(button)

* **根据标签的文本获取元素（精确定位）：**
1

button = browser.find_elements(By.LINK_TEXT, ‘地图’)
print(button)

* **根据标签的文本获取元素（模糊定位）：**
1

button = browser.find_elements(By.PARTIAL_LINK_TEXT, ‘地’)
print(button)

* **根据 class 属性获取元素：**
1

button = browser.find_element(By.CLASS_NAME, ‘wrapper_new’)
print(button)

  当我们定位到元素之后，自然就要考虑如何获取到元素的各种信息，selenium 给我们提供了获取元素不同信息的方法：


* **获取元素属性：**
1
2
3
4
5
6

from selenium import webdriver
from selenium.webdriver.common.by import By

创建浏览器操作对象

path = ‘chromedriver.exe’

browser= webdriver.Chrome()

访问网站

url = ‘https://www.baidu.com’
browser.get(url)

button = browser.find_element(By.ID, ‘su’)
print(input.get_attribute(‘class’))

* **获取元素标签名：**
1

input = browser.find_element(By.ID, ‘su’)
print(input.tag_name)

* **获取元素文本：**
1

input = browser.find_element(By.ID, ‘su’)
print(input.text)

* **获取元素位置：**
1

input = browser.find_element(By.ID, ‘su’)
print(input.location)

* **获取元素大小：**
1

input = browser.find_element(By.ID, ‘su’)
print(input.size)

## 6. Selenium的交互


  页面交互指的是我们平时在浏览器上的各种操作，比如输入文本、点击链接、回车、下拉框等，下面就演示 selenium 是如何进行页面交互的。


* **输入文本：**
1
2
3
4
5
6
7
8
9

from selenium import webdriver
from selenium.webdriver.common.by import By
import time

创建浏览器操作对象

path = ‘chromedriver.exe’

browser = webdriver.Chrome()

访问网站

url = ‘https://www.baidu.com’
browser.get(url)

定位输入框

input = browser.find_element(By.ID, ‘kw’)

输入文本selenium

input.send_keys(‘selenium’)
time.sleep(2)

关闭浏览器

browser.close()

* **点击：**
1

from selenium import webdriver
from selenium.webdriver.common.by import By
import time

创建浏览器操作对象

path = ‘chromedriver.exe’

browser = webdriver.Chrome()

访问网站

url = ‘https://www.baidu.com’
browser.get(url)

定位输入框

input = browser.find_element(By.ID, ‘kw’)

输入文本selenium

input.send_keys(‘selenium’)
time.sleep(2)

定位百度一下的按钮

button = browser.find_element(By.ID, ‘su’)

点击按钮

button.click()
time.sleep(2)

关闭浏览器

browser.close()

* **清除文本：**
1

from selenium import webdriver
from selenium.webdriver.common.by import By
import time

创建浏览器操作对象

path = ‘chromedriver.exe’

browser = webdriver.Chrome()

访问网站

url = ‘https://www.baidu.com’
browser.get(url)

定位输入框

input = browser.find_element(By.ID, ‘kw’)

输入文本selenium

input.send_keys(‘selenium’)
time.sleep(2)

清除selenium

input.clear()
time.sleep(2)

关闭浏览器

browser.close()

* **回车确认：**
1

from selenium import webdriver
from selenium.webdriver.common.by import By
import time

创建浏览器操作对象

path = ‘chromedriver.exe’

browser = webdriver.Chrome()

访问网站

url = ‘https://www.baidu.com’
browser.get(url)

定位输入框

input = browser.find_element(By.ID, ‘kw’)

输入文本selenium

input.send_keys(‘selenium’)
time.sleep(2)

回车查询

input.submit()
time.sleep(2)

关闭浏览器

browser.close()

* **运行 JavaScript：**
1

from selenium import webdriver
from selenium.webdriver.common.by import By
import time

创建浏览器操作对象

path = ‘chromedriver.exe’

browser = webdriver.Chrome()

访问网站

url = ‘https://www.baidu.com’
browser.get(url)

定位输入框

input = browser.find_element(By.ID, ‘kw’)

输入文本selenium

input.send_keys(‘selenium’)
time.sleep(2)

回车查询

input.submit()
time.sleep(2)

js代码

js_bottom = ‘document.documentElement.scrollTop=100000’

下拉进度条，页面滑动

browser.execute_script(js_bottom)
time.sleep(2)

关闭浏览器

browser.close()

* **前进后退**
1

from selenium import webdriver
from selenium.webdriver.common.by import By
import time

创建浏览器操作对象

path = ‘chromedriver.exe’

browser = webdriver.Chrome()

访问网站

url = ‘https://www.baidu.com’
browser.get(url)

定位输入框

input = browser.find_element(By.ID, ‘kw’)

输入文本selenium

input.send_keys(‘selenium’)
time.sleep(2)

回车查询

input.submit()
time.sleep(2)

自我介绍一下，小编13年上海交大毕业，曾经在小公司待过，也去过华为、OPPO等大厂，18年进入阿里一直到现在。

深知大多数Python工程师，想要提升技能，往往是自己摸索成长或者是报班学习，但对于培训机构动则几千的学费，着实压力不小。自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！

因此收集整理了一份《2024年Python开发全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友，同时减轻大家的负担。

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，基本涵盖了95%以上前端开发知识点，真正体系化！

由于文件比较大，这里只是将部分目录大纲截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且后续会持续更新

如果你觉得这些内容对你有帮助，可以扫码获取！！！（备注Python）

t/6c361282296f86381401c05e862fe4e9.png)

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，基本涵盖了95%以上前端开发知识点，真正体系化！

由于文件比较大，这里只是将部分目录大纲截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且后续会持续更新

如果你觉得这些内容对你有帮助，可以扫码获取！！！（备注Python）