当前位置:   article > 正文

Python+selenium+chromedriver实现爬虫示例代码_python selenium chromedriver

python selenium chromedriver

下载好所需程序

1.Selenium简介

Selenium是一个用于Web应用程序测试的工具,直接运行在浏览器中,就像真正的用户在操作一样。

2.Selenium安装

方法一:在Windows命令行(cmd)输入pip install selenium即可自动安装,安装完成后,输入pip show selenium可查看当前的版本

方法二:直接下载selenium包:

selenium下载网址

Pychome安装selenium如果出现无法安装,参考以下博客
解决Pycharm无法使用已经安装Selenium的问题

3.禁止谷歌浏览器自动更新

搜索本地:管理工具-服务-Google自动更新服务-选择禁止

 

安装浏览器对应的驱动driver
我这里用的是谷歌,选择对应的驱动版本

驱动的下载地址如下:

http://chromedriver.storage.googleapis.com/index.html

 

win32、win64的都下载win32.zip的

将下载的chromedriver进行解压,并将文件复制或移动到,浏览器快捷方式所在目录。

环境变量配置
1.Python环境配置
2.chromedriver环境配置
3.pychrome的python环境指向自己电脑安装好的python

注意:将下载好的chromewebdriver.exe驱动放在Python的安装路径下的Scripts里面,同时将Scripts路径添加到PATH中,这样每次运行python的时候就会自动加载驱动

代码实现

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

#已经准备环境:webdriver:Google已经安装好;环境变量配置好;pip install selenium;

#selenium是一个包,包有很多对象,对象有属性,方法。

from selenium import webdriver

browser=webdriver.Chrome()#打开浏览器

url="https://news.qq.com/zt2020/page/feiyan.htm#/global?nojump=1"#获取数据的地址

#请求浏览器内容:请求方式:get,post,token

browser.get(url)

#css选择器,id选择器:#开头,class选择器:.开头,标签选择器:p,span,div。

coronavirus_countent=browser.find_element_by_class_name('d')#定位到class选择器d这个内容

print(coronavirus_countent)#查看内容,session,一种缓存机制,通过浏览器解析,然后缓存的内容

# <selenium.webdriver.remote.webelement.WebElement (session="a1aa22161543b44f599e97b35dbc1ac5", element="fe645993-43cb-46cf-83a7-2488dd3d838a")>

print(coronavirus_countent.text)#查看当前css.class中的d的内容

coronavirus_time=browser.find_element_by_class_name('ml')#定位到class选择器d这个内容

print(coronavirus_time.text)

coronavirus_data=browser.find_element_by_class_name('nowConfirm')#定位到class选择器d这个内容

print("=======")

print(coronavirus_data.text)

print("=====找nowConfirm下面的字内容")

coronavirus_sub=coronavirus_data.find_element_by_class_name('addnum')

print(coronavirus_sub.text)

browser.quit()

  1. ​现在我也找了很多测试的朋友,做了一个分享技术的交流群,共享了很多我们收集的技术文档和视频教程。
  2. 如果你不想再体验自学时找不到资源,没人解答问题,坚持几天便放弃的感受
  3. 可以加入我们一起交流。而且还有很多在自动化,性能,安全,测试开发等等方面有一定建树的技术大牛
  4. 分享他们的经验,还会分享很多直播讲座和技术沙龙
  5. 可以免费学习!划重点!开源的!!!
  6. qq群号:485187702【暗号:csdn11

最后感谢每一个认真阅读我文章的人,看着粉丝一路的上涨和关注,礼尚往来总是要有的,虽然不是什么很值钱的东西,如果你用得到的话可以直接拿走! 希望能帮助到你!【100%无套路免费领取】

声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/小小林熬夜学编程/article/detail/645415
推荐阅读
相关标签
  

闽ICP备14008679号