当前位置:   article > 正文

selenium爬虫需要爬取网页中的所有图片地址,有一些异步加载获取为空,怎么操作呢。_selenium 获取img标签的src为空

selenium 获取img标签的src为空

前面提到了一种可以使用鼠标悬浮的功能。

这里使用js逆向来进行滑动。

我们可以建立一个driver 对象,获取需要爬取部分div的宽高和位置。然后进行滑动 再去获取,相对的图片就可以啦。

  1. from selenium import webdriver
  2. #建立driver对象,我习惯叫browser
  3. browser= webdriver.Chrome()
  4. #定位到div
  5. div_scroll=browser.browser.find_element(by=By.CSS_SELECTOR, value='.zbinfo_main_right_main_content>div>div>div')
  6. #获取div的宽高和xy点坐标,可以使用rect函数
  7. #div_scroll.rect
  8. #我们可以根据爬取的页面出现的图片范围进行滑动,设置互动次数
  9. for i in range(1,7):
  10. j=i/6
  11. #定位坐标y加上相对高度
  12. high=div_scroll.rect.get('y')+div_scroll.rect.get('height')*j
  13. #滑动js
  14. js=f'''scrollTo(0,{high})'''
  15. #执行js
  16. browser.execute_script(js)
  17. time.sleep(1)

声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/Cpp五条/article/detail/577842
推荐阅读
相关标签
  

闽ICP备14008679号