Python Selenium其他使用方法_selenium 获取浏览器标签页

知识点：
掌握selenium控制标签页的切换；
掌握selenium控制iframe的切换；
掌握 利用selenium获取cookie的方法；
掌握 手动实现页面等待；
掌握 selenium控制浏览器执行js代码的方法；
掌握selenium开启无界面模式；
了解 selenium使用代理ip;
了解selenium替换user-agent;

1、selenium标签页的切换

当selenium控制浏览器打开多个标签页时，如何控制浏览器在不同的标签页中进行切换呢？需要我们做以下两步：
获取所有标签页的窗口句柄；
利用窗口句柄字切换到句柄指向的标签页；
这里的窗口句柄是指：指向标签页对象的标识；

具体方法：

# 1、获取当前所有的标签页的句柄构成的列表
current_windows = driver.window_handles
# 2、根据标签页句柄列表索引下标进行切换
driver.switch_to.window(current_window[0])
1
2
3
4

from selenium import webdriver

url = 'https://jn.58.cn'

driver = webdriver.Chrome()

driver.get(url)

print(driver.current_url)
print(driver.window_handles)

# 定位并点击租房按钮
el = driver.find_element_by_xpath('/html/body/div[3]/div[1]/div[1]/div/'
                                  'div[1]/div[1]/span[1]/a')
el.click()

print(driver.current_url)
print(driver.window_handles)

driver.switch_to.window(driver.window_handles[-1])

el_list = driver.find_element_by_xpath('/html/body/div[7]/div[2]/ul/li/div[2]/h2/a')

print(len(el_list))
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24

from selenium import webdriver

url = 'https://qzone.qq.com/'

driver = webdriver.Chrome()

driver.get(url)

#
el_frame = driver.find_element_by_xpath('//*[@id="login_frame"]')
driver.switch_to.frame('login_frmae')
driver.switch_to.frame(el_frame)

driver.find_element_by_id('switcher plogin').click()
driver.find_element_by_id('u').send_keys('2634809316')
driver.find_element_by_id('p').send_keys('461324karura')
driver.find_element_by_id('login_button').click()
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17

from selenium import webdriver

url = 'http://www.baidu.com'

driver = webdriver.Chrome()

driver.get(url)

print(driver.get_cookie())

cookies = {data['name']:data['value']for data in driver.get_cookie()}

print(cookies)


1
2
3
4
5
6
7
8
9
10
11
12
13
14
15

1.2 删除cookie

# 删除一条cookie
driver.delete_cookie("CookieName")

# 删除所有的cookie
driver.delete_all_cookies()
1
2
3
4
5

2、selenium控制浏览器执行js代码
selenium可以让浏览器执行我们规定的js代码，运行下列代码查看运行效果。

from selenium import webdriver

url = 'https://jn.lianjia.com'

driver =webdriver.Chrome()

driver.get(url)

# 滚动条的拖动
js = 'scrollTo(0,500)'

# 执行js
driver.execute_script(js)

el_button = driver.find_element_by_xpath('html/body/div[2]/ul/li[2]/a')

el_button.click()
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17

2、页面等待
页面在加载的过程中需要花费时间等待网站服务器的响应，在这个过程中标签元素有可能还没有加载出来，是不可见得，如何出来这种情况呢？

1）、页面等待分类；
2）、强制等待介绍；
3）、显式等待介绍；
4）、隐式等待介绍；
5）、手动实现页面等待；

2.1 页面等待的分类
首先我们就来了解以下selenium页面等待的分类；
1）、强制等待；
2）、隐式等待；
3）、显式等待；

2.2 强制等待（了解）
其实就是time.sleep()
确定是不智能，设置的时间太短，元素还没有加载出来；设置的时间太长，则会浪费时间；

2.3 隐式等待
隐式等待针对的是元素定位，隐式等待设置一个时间，在一段时间内判断元素是否定位成功，如果完成了，就进行下一步；
在设置的时间内没有定位成功，则会报超时加载
示例代码：

from selenium import webdriver

url = 'http://www.baidu.com'

driver = webdriver.Chrome()

driver.get(url)
# 设置位置之后的所有元素定位操作都有最大等待时间十秒，在10秒内会定期进行元素定位，超过设置的时间将会报错
driver.implicitly_wait(10)

driver.get(url)

el = driver.find_element_by_xpath('//*[@id="lg"]/img[10000]')

print(el)
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15

3、手动实现页面等待
在了解隐式等待和显式等待以及强制等待后，我们发现并没有一种通用的方法来解决页面等待的问题，比如“页面需要滑动才能触发ajax异步加载”的场景，那么接下来我们就以淘宝首页为例，手动实现页面等待。
原理：
利用强制等待和显式等待的思路来手动实现；
不停的判断或有次数限制某一个标签对象是否加载完毕（是否存在）

实现代码如下：

import time
from selenium import  webdriver

driver = webdriver.Chrome('C:\Program Files\Python3.9.4\Scripts/chromedriver')

driver.get('https://www.taobao.com/')

time.sleep(1)

# i =0
# while True:
for i in range(10):
    i += 1
    try:
        time.sleep(3)
        element = driver.find_element_by_xpath('//div[@class="shop-inner"]/h3[1]/a')
        print(element.get_attribute('href'))
        break
    except:
        js = 'window.scrollTo(0,{})'.format(i*500) # js语句
        driver.execute_script(js)  # 执行js的方法
    driver.quit()
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22

4、selenium开启无界面模式
绝大多数服务器是没有界面的，selenium控制谷歌浏览器页时存在无界面模式的，这一小节我们就来学习如何开启无界面模式（又称之为无头模式）
开启无界面模式的方法：
实例化配置对象
options = webdriver.ChromeOptions()
配置对象添加开启无界面模式的命令
options.add_argument("–headless")
配置对象添加禁用gpu的命令
options.add_argument(“disable-gpu”)
实例化带有配置对象的driver对象
driver = webdriver.Chrome(chrome_options=options)
注意：macos中chrome浏览器59+版本，Linux57 + 版本才能使用无界模式！

参考代码如下：

from selenium import webdriver

url = 'http://www.baidu.com'

# 创建配置对象
opt = webdriver.ChromeOptions()

# 添加配置参数
opt.add_argument('--headless')
opt.add_argument('--disable-gpu')

# 创建浏览器对象的时候添加配置对象
driver = webdriver.Chrome(chrome_options=opt)

driver.get(url)

driver.save_screenshot('baidu 到期一流.png')
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17

5、selenium使用代理ip
selenium控制浏览器也是可以使用代理ip的！

使用代理ip的方法
实例化配置对象
options = webdriver.ChromeOptions()
配置对象添加使用代理ip的命令
options.add_argument(’–proxy-server=http://202.20.16.82.9527’)
实例化带有配置对象的driver对象
driver = webdriver.Chrome(’./chromedriver’,chrome_optionns=options)

from selenium import webdriver

class Douyu(object):

    def __init__(self):
        self.url = 'https://www.douyu.com/directory/all'
        self.driver = webdriver.Chrome()

    def parse_data(self):
        room_list = self.driver.find_element_by_xpath('//*['
                                                     '@id="listAll"]/section[2]/div[2]/ul/li/div')
        #print(room_list)

        # 遍历房间列表，从没一个房间节点获取数据
        for room in room_list:
            temp = {}

            temp['title'] = room.find_element_by_xpath('./a[1]/div[2]/div[1]/h3').text
            temp['type'] = room.find_element_by_xpath('./a[1]/div[2]/div[1]/span').text
            temp['owner'] = room.find_element_by_xpath('./a[1]/div[2]/div[1]/h2').text
            temp['num'] = room.find_element_by_xpath('./a[1]/div[2]/div[2]/span').text
            temp['num'] = room.find_element_by_xpath('./a[1]/div[1]/div[1]/img').get_attribute('src')

            data_list.append(temp)

            return data_list

    def save_data(self,data_list):
        for data in data_list:
            print(data)

    def run(self):
        # url

        # driver

        # get
        self.driver.get(self.url)

        while True:
            # parse
            data_list = self.parse_data()
            # save
            self.save_data(data_list)
            # next
            try:
                el_next = self.driver.find_element_by_xpath('//*[@class="dy-Pagination-next"]')
                el_next.click()
            except:
                break

if __name__ == '__main__':
    douyu = Douyu()
    douyu.run()
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54