当前位置:   article > 正文

百度热搜榜标题与热搜指数爬虫(python)_csdn 百度热搜词条

csdn 百度热搜词条

新手第一次写博客,仿照老师给的爬虫结构写了一个

用python写的爬虫,爬取了热搜榜的内容

源码:

  1. # -*- coding: utf-8 -*-
  2. """
  3. Created on Sun Mar 5 09:38:08 2023
  4. @author: DELL
  5. """
  6. url = 'http://top.baidu.com/buzz?b=1&fr=topindex'
  7. def getSoup(Url):
  8. headers = {
  9. 'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/93.0.4577.82 Safari/537.36'
  10. } # 设置请求头
  11. proxy = {'http': 'http://101.4.136.34:82'}# 设置代理 http-协议类型 101.4.136.34-代理ip 82-代理端口
  12. urls=requests.get(url,headers=headers)
  13. r = requests.get(url, headers=headers, timeout=30)
  14. r.encoding = r.apparent_encoding# 获取网页的编码格式
  15. context = r.text # 获取HTML网页
  16. soup = BeautifulSoup(r.text,'html.parser') # 解析网页
  17. return soup
  18. def getContext():
  19. soup = getSoup(url)
  20. # 获取<div class='category-wrap_iQLoo horizontal_1eKyQ'></div>所有标签项
  21. info_clear_all = soup.find_all('div', class_='category-wrap_iQLoo horizontal_1eKyQ')
  22. for a in info_clear_all:
  23. # 获取标题
  24. label_a_title = a.find('div', class_='c-single-text-ellipsis') # 获取标题所在的a标签
  25. title = label_a_title.text.replace(' ', '').strip().replace('\n', '') # 获取标题
  26. print('标题:'+title)
  27. # 获取热搜指数
  28. hot_index = a.find('div', class_='hot-index_1Bl1a')
  29. hot_index_num = hot_index.text.replace(' ', '').strip().replace('\n', '')
  30. print('热搜指数:'+hot_index_num)
  31. if __name__ == "__main__":
  32. getContext()

结果如下:

声明:本文内容由网友自发贡献,转载请注明出处:【wpsshop】
推荐阅读
相关标签
  

闽ICP备14008679号