当前位置:   article > 正文

#041爬虫beautifulsoup 使用信安培训2019年5月25日

信安爬虫项目

爬虫beautifulsoup 使用信安培训2019年5月25日

beautifulsoup

beautifulsoup安装

 

CMD命令行pip安装beautifulsoup4库
CMD命令行pip安装beautifulsoup4库

 

学习样例题目

题目地址

题目链接

 

题目截图
题目截图

 

解题步骤

beautifulsoup 快速讲解

查看源代码

 

算式位置在p标签中 name=‘myexpr’的div中
算式位置在p标签中 name=‘myexpr’的div中

 

代码

  1. import requests
  2. from bs4 import BeautifulSoup
  3. r = requests.get('http://ctf5.shiyanbar.com/jia/index.php')
  4. r.encoding = r.apparent_encoding
  5. soup = BeautifulSoup(r.text,'html.parser')
  6. a = soup.find_all('div',{"name":"my_expr"})

 

匹配相应数据
匹配相应数据

 

代码2

只有一个p标签
所以可以直接这么使用直接匹配p

b=soup.p.div.get_text()

例题二爬取中国大学排名

题目地址

解析出排名和大学名称即可

 

大学排名网站
大学排名网站

 

  1. from bs4 import BeautifulSoup
  2. import requests
  3. r = requests.get('http://www.zuihaodaxue.cn/zuihaodaxuepaiming2019.html')
  4. r.encoding = r.apparent_encoding
  5. attr = {"class":"table table-small-font table-bordered table-striped"}
  6. soup = BeautifulSoup(r.text,'html.parser')
  7. a = soup.find('table',attr)
  8. a = a.find_all('tr',{"class":"alt"})
  9. result = '排名,大学\n'
  10. for i in a:
  11. result += i('td')[0].text +','+i.div.text+'\n'
  12. with open('rank.csv','w') as f:
  13. f.write(result)

转载于:https://www.cnblogs.com/hx97/p/10923965.html

声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/黑客灵魂/article/detail/884068
推荐阅读
相关标签
  

闽ICP备14008679号