当前位置:   article > 正文

基于Python编程实现简单网络爬虫实现_python网络爬虫程序

python网络爬虫程序


引言

网络爬虫(英语:web crawler),也叫网络蜘蛛(spider),是一种用来自动浏览万维网的网络机器人。其目的一般为编纂网络索引。 --维基百科

网络爬虫可以将自己所访问的页面保存下来,以便搜索引擎事后生成索引供用户搜索。
一般有两个步骤:1.获取网页内容  2.对获得的网页内容进行处理

 

准备

Linux开发环境

python3.61安装方法:https://www.cnblogs.com/kimyeee/p/7250560.html

安装一些必要的第三方库
其中requiests可以用来爬取网页内容,beautifulsoup4用来将爬取的网页内容分析处理

  1. pip3 install requiests
  2. pip3 install beautifulsoup4

 


第一步:爬取

使用request库中的get方法,请求url的网页内容
更多了解:http://docs.python-requests.org/en/master/

 

编写代码
 

  1. [root@localhost demo]# touch demo.py
  2. [root@localhost demo]# vim demo.py
  1. #web爬虫学习 -- 分析
  2. #获取页面信息
  3. #输入:url
  4. #处理:request库函数获取页面信息,并将网页内容转换成为人能看懂的编码格式
  5. #输出:爬取到的内容
  6. import requests
  7. def getHTMLText(url):
  8.     try:
  9.         r = requests.get( url, timeout=30 )
  10.         r.raise_for_status()    #如果状态码不是200,产生异常
  11.         r.encoding = 'utf-8'    #字符编码格式改成 utf-8
  12.         return r.text
  13.     except:
  14.         #异常处理
  15.         return " error "
  16. url = "http://www.baidu.com"
  17. print( getHTMLText(url) )
[root@localhost demo]# python3 demo.py

 

 

 

 

第二步:分析

使用bs4库中BeautifulSoup类,生成一个对象。find()和find_all()方法可以遍历这个html文件,提取指定信息。
更多了解:https://www.crummy.com/software/BeautifulSoup/


编写代码

  1. [root@localhost demo]# touch demo1.py
  2. [root@localhost demo]# vim demo1.py
  1. #web爬虫学习 -- 分析
  2. #获取页面信息
  3. #输入:url
  4. #处理:request库获取页面信息,并从爬取到的内容中提取关键信息
  5. #输出:打印输出提取到的关键信息
  6. import requests
  7. from bs4 import BeautifulSoup
  8. import re
  9. def getHTMLText(url):
  10.     try:
  11.         r = requests.get( url, timeout=30 )
  12.         r.raise_for_status()    #如果状态码不是200,产生异常
  13.         r.encoding = 'utf-8'    #字符编码格式改成 utf-8
  14.         return r.text
  15.     except:
  16.         #异常处理
  17.         return " error "
  18. def findHTMLText(text):
  19.     soup = BeautifulSoup( text, "html.parser" )    #返回BeautifulSoup对象
  20.     return soup.find_all(string=re.compile( '百度' )) #结合正则表达式,实现字符串片段匹配
  21. url = "http://www.baidu.com"
  22. text = getHTMLText(url)        #获取html文本内容
  23. res = findHTMLText(text)    #匹配结果
  24. print(res)        #打印输出
[root@localhost demo]# python3 demo1.py

 

 

 

一个例子:中国大学排名爬虫

参考链接:https://python123.io/index/notebooks/python_programming_basic_v2

  1. #e23.1CrawUnivRanking.py
  2. import requests
  3. from bs4 import BeautifulSoup
  4. allUniv = []
  5. def getHTMLText(url):
  6.     try:
  7.         r = requests.get(url, timeout=30)
  8.         r.raise_for_status()
  9.         r.encoding = 'utf-8'
  10.         return r.text
  11.     except:
  12.         return ""
  13. def fillUnivList(soup):
  14.     data = soup.find_all('tr')
  15.     for tr in data:
  16.         ltd = tr.find_all('td')
  17.         if len(ltd)==0:
  18.             continue
  19.         singleUniv = []
  20.         for td in ltd:
  21.             singleUniv.append(td.string)
  22.         allUniv.append(singleUniv)
  23. def printUnivList(num):
  24.     print("{:^4}{:^10}{:^5}{:^8}{:^10}".format("排名","学校名称","省市","总分","培养规模"))
  25.     for i in range(num):
  26.         u=allUniv[i]
  27.         print("{:^4}{:^10}{:^5}{:^8}{:^10}".format(u[0],u[1],u[2],u[3],u[6]))
  28. def main():
  29.     url = 'http://www.zuihaodaxue.cn/zuihaodaxuepaiming2016.html'
  30.     html = getHTMLText(url)
  31.     soup = BeautifulSoup(html, "html.parser")
  32.     fillUnivList(soup)
  33.     printUnivList(10)
  34. main()

展示

 

 

声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/神奇cpp/article/detail/776612
推荐阅读
相关标签
  

闽ICP备14008679号