devbox
小蓝xlanll
这个屌丝很懒，什么也没留下！
关注作者
热门标签
热门文章
当前位置:   article > 正文

Python3 爬虫之Selenium库的使用_python3 selenium

作者：小蓝xlanll | 2024-04-06 13:40:10

赞

踩

python3 selenium

今天在官网看了下Selenium库，总结了下常用的方法，直接上代码。（沈略环境搭建，网上多得是），新手建议去了解10分钟再来看这里的代码。

这里列举一下常用的查找元素方法：其实find_element_by_xpath是万能的。

单元素定位：

find_element_by_name
find_element_by_id
find_element_by_xpath
find_element_by_link_text
find_element_by_partial_link_text
find_element_by_tag_name
find_element_by_class_name
find_element_by_css_selector


find_element(By.ID,"kw")
find_element(By.NAME,"wd")
find_element(By.CLASS_NAME,"s_ipt")
find_element(By.TAG_NAME,"input")
find_element(By.LINK_TEXT,u"新闻")
find_element(By.PARTIAL_LINK_TEXT,u"新")
find_element(By.XPATH,"//*[@class='bg s_btn']")
find_element(By.CSS_SELECTOR,"span.bg s_btn_wr>input#su") 

多元素定位：

find_elements_by_name
find_elements_by_id
find_elements_by_xpath
find_elements_by_link_text
find_elements_by_partial_link_text
find_elements_by_tag_name
find_elements_by_class_name
find_elements_by_css_selector

返回的是list列表，用print(type(elements_name))即可看到它的类型是list。

  1. from selenium import webdriver
  2. import lxml.html
  3. from selenium.webdriver.common.by import By
  4. import time
  5. from selenium.webdriver import ActionChains
  6. from selenium.common.exceptions import NoSuchElementException
  7. from selenium.webdriver.support.ui import WebDriverWait
  8. from selenium.webdriver.support import expected_conditions as EC
  9. from selenium.common.exceptions import TimeoutException, NoSuchElementException
  10.  
  11. browser = webdriver.Chrome()
  12.  
  13.  
  14. # 先梳理一下逻辑，在讲下xpath的使用，最后讲下常用方法。
  15. '''
  16. 1、导入webdriver模块
  17. 2、通过该模块点出一个浏览器对象
  19. 3、通过浏览器对象点出连接——browser.get("")
  20. 5、通过浏览器对象点出当前页面的html标签内容——browser.page_source
  21. 6、通过浏览器对象点出要获取元素的方法来获取html标签——browser.find_element(By.ID,"q").click() or browser.find_element_by_id("q").click()
  22. 7、这里重点讲一下xpath的使用，因为其他的都简单，
  23.         import lxml.html
  24.         html1 = "html内容"
  25.         selector = lxml.html.fromstring(html1)
  26.         （1）、没有属性的标签可省略，属性都相同的标签可省略。
  27.         （2）、属性以某字符串开头：xpath('//div[starts-with(@id,"test")]/text()')遍历即可。
  28.         （3）、属性值包含相同字符串：把上面的starts-with改为contains遍历即可。
  29.         
  30.         （4）、获取子标签下的文字：lists_index=selector.xpath('//div[@class="useful"]')。info_list=lists_index[0].xpath('ul/li/text()')输出即可。
  31.         （5）、获取不同标签下的文字：data=selector.xpath('//div[@id="test3"]')[0]。info=data.xpath('string(.)')输出即可。
  32.         （6）、第四句的意思是，获取class为useful的div标签，以列表形式返回，第一个div为div[0]，以此类推；后面那句也是以列表的形式返回文本数据。
  33.                第五句的意思是，获取id为test3的div标签的第一个div；后面那句是返回这个div[0]标签下的所有文本内容。
  35. '''
  36. html1 = '''
  37. <html>
  38.     <head>
  39.         <title>ceshi</title>
  40.     </head>
  41.     <body>
  42.         <div class="useful">
  43.             <ul>
  44.                 <li class="info">1</li>
  45.                 <li class="info">2</li>
  46.                 <li class="info">3</li>
  47.                 <li class="inf">4</li>
  48.             </ul>
  49.         </div>
  50.         <div class = "useful">
  51.             <ul>
  52.                 <li class="info">5</li>
  53.                 <li class="info">6</li>
  54.             </ul>
  55.         </div>
  56.     </body>
  57. </html>
  58. '''
  59. selector = lxml.html.fromstring(html1)
  60. useful = selector.xpath('//div[@class="useful"]')
  61. info_list = useful[0].xpath('ul/li/text()')
  62. print(info_list)
  63.  
  64.  
  65.  
  66. # 打开知乎，滑到最底下，输出一句话
  67. # browser.get("http://www.zhihu.com/explore")
  68. # browser.execute_script('window.scrollTo(0, document.body.scrollHeight)')
  69. # browser.execute_script('alert("To Bottom")')
  70.  
  71. # 打开淘宝，输入ipad，删除后输入MakBook pro，点击搜索
  72. # browser.get("http://www.taobao.com")
  73. # input_str = browser.find_element_by_id('q')
  74. # input_str.send_keys("ipad")
  75. # time.sleep(1)
  76. # input_str.clear()
  77. # input_str.send_keys("MakBook pro")
  78. # button = browser.find_element_by_class_name('btn-search')
  79. # button.click()
  80.  
  81. # 打开一个网址，拖动滑块到吻合的地方
  82. # url = "http://www.runoob.com/try/try.php?filename=jqueryui-api-droppable"
  83. # browser.get(url)
  84. # browser.switch_to.frame('iframeResult')
  85. # source = browser.find_element_by_css_selector('#draggable')
  86. # target = browser.find_element_by_css_selector('#droppable')
  87. # actions = ActionChains(browser)
  88. # actions.drag_and_drop(source, target)
  89. # actions.perform()
  90.  
  91. # 打开网页，获取元素touple，获取属性的值
  92. # url = 'https://www.zhihu.com/explore'
  93. # browser.get(url)
  94. # logo = browser.find_element_by_id('zh-top-link-logo')
  95. # print(logo)
  96. # print(logo.get_attribute('class'))
  97.  
  98. # 获取ID，位置，标签名
  99. # url = 'https://www.zhihu.com/explore'
  100. # browser.get(url)
  101. # input = browser.find_element_by_class_name('zu-top-add-question')
  102. # print(input.id)
  103. # print(input.location)
  104. # print(input.tag_name)
  105. # print(input.size)
  106.  
  107. # 切入到frame中以及切出来
  108. # url = 'http://www.runoob.com/try/try.php?filename=jqueryui-api-droppable'
  109. # browser.get(url)
  110. # browser.switch_to.frame('iframeResult')  # 切入
  111. # source = browser.find_element_by_css_selector('#draggable')
  112. # print(source)
  113. # try:
  114. #     logo = browser.find_element_by_class_name('logo')
  115. # except NoSuchElementException:
  116. #     print('NO LOGO')
  117. #
  118. # browser.switch_to.parent_frame()  # 切出
  119. # logo = browser.find_element_by_class_name('logo')
  120. # print(logo)
  121. # print(logo.text)
  122.  
  123. # 隐式等待(等10秒钟后还没出现就报错)
  124. # browser.implicitly_wait(10)
  125. # browser.get('https://www.zhihu.com/explore')
  126. # input = browser.find_element_by_class_name('zu-top-add-question')
  127. # print(input)
  128.  
  129. # 显示等待（等待某个元素出现）
  130. # browser.get('https://www.taobao.com/')
  131. # wait = WebDriverWait(browser, 10)
  132. # input = wait.until(EC.presence_of_element_located((By.ID, 'q')))  # 元素是否出现
  133. # button = wait.until(EC.element_to_be_clickable((By.CSS_SELECTOR, '.btn-search')))  # 元素是否可点击
  134. # print(input, button)
  135. '''
  136. 常用的判断条件：
  137. title_is 标题是某内容
  138. title_contains 标题包含某内容
  139. presence_of_element_located 元素加载出，传入定位元组，如(By.ID, 'p')
  140. visibility_of_element_located 元素可见，传入定位元组
  141. visibility_of 可见，传入元素对象
  142. presence_of_all_elements_located 所有元素加载出
  143. text_to_be_present_in_element 某个元素文本包含某文字
  144. text_to_be_present_in_element_value 某个元素值包含某文字
  145. frame_to_be_available_and_switch_to_it frame加载并切换
  146. invisibility_of_element_located 元素不可见
  147. element_to_be_clickable 元素可点击
  148. staleness_of 判断一个元素是否仍在DOM，可判断页面是否已经刷新
  149. element_to_be_selected 元素可选择，传元素对象
  150. element_located_to_be_selected 元素可选择，传入定位元组
  151. element_selection_state_to_be 传入元素对象以及状态，相等返回True，否则返回False
  152. element_located_selection_state_to_be 传入定位元组以及状态，相等返回True，否则返回False
  153. alert_is_present 是否出现Alert
  154. '''
  155.  
  156. # 浏览器的前进和后退
  157. # browser = webdriver.Chrome()
  158. # browser.get('https://www.baidu.com/')
  159. # browser.get('https://www.taobao.com/')
  160. # browser.get('https://www.zhihu.com/explore')
  161. # browser.back()
  162. # time.sleep(1)
  163. # browser.forward()
  164. # browser.close()
  165.  
  166. # cookie操作
  167. # browser.get('https://www.zhihu.com/explore')
  168. # print(browser.get_cookies())  # 得到
  169. # browser.add_cookie({'name': 'name', 'domain': 'www.zhihu.com', 'value': 'zhaofan'})  # 添加
  170. # print(browser.get_cookies())
  171. # browser.delete_all_cookies()  # 删除
  172. # print(browser.get_cookies())
  173.  
  174. # 选项卡的切换
  175. # browser.get('https://www.baidu.com')  # 去百度（卡一）
  176. # browser.execute_script('window.open()')  # 打开新选项卡（卡二）
  177. # print(browser.window_handles)
  178. # browser.switch_to_window(browser.window_handles[1])  # 获得卡二 去淘宝
  179. # browser.get('https://www.taobao.com')
  180. # time.sleep(1)
  181. # browser.switch_to_window(browser.window_handles[0])   # 获得卡一 去知乎
  182. # browser.get('https://www.zhihu.com/explore')
  183.  
  184. # 异常处理
  185. # 这里的异常比较复杂，官网的参考地址：
  186. # http://selenium-python.readthedocs.io/api.html#module-selenium.common.exceptions
  187.  
  188. # 超时、没找到元素异常处理
  189. # try:
  190. #     browser.get('https://www.baidu.com')
  191. # except TimeoutException:
  192. #     print('Time Out')
  193. # try:
  194. #     browser.find_element_by_id('hello')
  195. # except NoSuchElementException:
  196. #     print('No Element')
  197. # finally:
  198. #     browser.close()

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/小蓝xlanll/article/detail/372244
推荐阅读
相关标签

Copyright © 2003-2013 www.wpsshop.cn 版权所有，并保留所有权利。

  

闽ICP备14008679号