赞
踩
爬虫正则表达式参考:Python 爬虫正则表达式和re库
在爬虫过程中,可以利用正则表达式去提取信息,但是有些人觉得比较麻烦。因为花大量时间分析正则表达式。这时候可以用高效的网页解析库Beautiful Soup。
Beautiful Soup 是一个HTML/XML 的解析器,主要用于解析和提取 HTML/XML 数据。
Beautiful Soup支持Python标准库中的HTML解析器,还支持一些第三方的解析器,如果我们不安装它,则 Python 会使用 Python默认的解析器,lxml 解析器更加强大,速度更快,推荐安装。
解析器 | 使用方法 | 优势 | 劣势 |
---|---|---|---|
Python标准库 | BeautifulSoup(markup, “html.parser”) | 1. Python的内置标准库 2. 执行速度适中 3.文档容错能力强 | Python 2.7.3 or 3.2.2)前 的版本中文档容错能力差 |
lxml HTML 解析器 | BeautifulSoup(markup, “lxml”) | 1. 速度快 2.文档容错能力强 | 需要安装C语言库 |
lxml XML 解析器 | BeautifulSoup(markup, [“lxml”, “xml”]) BeautifulSoup(markup, “xml”) | 1. 速度快 2.唯一支持XML的解析器 | 需要安装C语言库 |
html5lib | BeautifulSoup(markup, “html5lib”) | 1. 最好的容错性 2.以浏览器的方式解析文档 3.生成HTML5格式的文档 | 速度慢,不依赖外部扩展 |
Beautiful Soup 3 目前已经停止开发,推荐在现在的项目中使用Beautiful Soup 4,不过它已经被移植到BS4了,也就是说导入时我们需要 import bs4。
安装Beautiful Soup
pip install beautifulsoup4
根据操作系统不同,可以选择下列方法来安装lxml,安装解析器:
apt-get install Python-lxml
easy_install lxml
pip install lxml
创建对象时,指定解析器,这里为lxml
from bs4 import BeautifulSoup
bs = BeautifulSoup(html,"lxml")
Beautiful Soup将复杂HTML文档转换成一个复杂的树形结构,每个节点都是Python对象,所有对象可以归纳为4种: Tag , NavigableString , BeautifulSoup , Comment .
标签,最基本的信息组织单元,分别用<>和标明开头和结尾,通俗点讲就是 HTML 中的一个个标签。
Tag有很多方法和属性,tag中最重要的属性: name和attributes。
name:
每个tag都有自己的名字,通过 .name 来获取:
惯例,同样以豆瓣电影排行做分析,链接为:https://movie.douban.com/top250
import requests
from bs4 import BeautifulSoup
headers = {'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_3) AppleWebKit/537.36 (KHTML, like Gecko)Chrome/65.0.3325.162 Safari/537.36'}
url='https://movie.douban.com/top250'
req=requests.get(url,headers=headers)
html=req.text
#print(req.text)
soup=BeautifulSoup(html,'lxml')
print(soup.h1)
print(soup.a)
执行结果:
<h1>豆瓣电影 Top 250</h1>
<a class="nav-login" href="https://accounts.douban.com/passport/login?source=movie" rel="nofollow">登录/注册</a>
以上,就直接提取到标签h1和a 的内容了,只所以只有一个,因为只提取第一个匹配到的内容。
Attributes:
属性,一个tag可能有很多个属性, . tag的属性的操作方法与字典相同。
如上:ol class=“grid_view” 的属性, 标签名为ol,属性为class,属性值为:grid_view
import requests from bs4 import BeautifulSoup headers = {'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_3) AppleWebKit/537.36 (KHTML, like Gecko)Chrome/65.0.3325.162 Safari/537.36'} url='https://movie.douban.com/top250' req=requests.get(url,headers=headers) html=req.text #print(req.text) soup=BeautifulSoup(html,'lxml') #获取标签div所有属性,得到的是一个字典 print(soup.div.attrs) #获取标签ol属性为class的值 print(soup.ol['class'])
执行结果:
{'id': 'db-global-nav', 'class': ['global-nav']}
['grid_view']
因为是字典属性,所以tag的属性可以被添加,删除或修改。不过,对于修改删除的操作,不是我们的主要用途,有需要的自行参考官方文档。
直译为:可以遍历的字符串,通过名称可知,得到字符串。
标签内非属性字符串,格式:soup.<tag>.string, NavigableString可以跨越多个层次。
如,得到了标签的内容,要想获取标签内部的文字,用 .string 即可。
上面代码改为:
print(soup.h1.string)
执行结果:
豆瓣电影 Top 250
BeautifulSoup 对象表示的是一个文档的全部内容.大部分时候,可以把它当作 Tag 对象,是一个特殊的 Tag,我们可以分别获取它的类型,名称。
print(soup.name)
执行结果:
[document]
注释及特殊字符串,Tag , NavigableString , BeautifulSoup 几乎覆盖了html和xml中的所有内容,但是还有一些特殊对象.容易让人担心的内容是文档的注释部分:
from bs4 import BeautifulSoup
markup = "<b><!--Hey, buddy. Want to buy a used parser?--></b>"
soup = BeautifulSoup(markup)
comment = soup.b.string
print(type(comment))
print(comment)
执行结果:
<class 'bs4.element.Comment'>
Hey, buddy. Want to buy a used parser?
HTML基本格式:<>…</>构成了所属关系,遍历形成了标签的树形结构。
所以有时候不能做到一步就得到想要的元素,需要先选中一个元素在以它为基准再选择它的子节点,父节点,兄弟节点等。
子节点属性:.contents .children
.content
tag 的 .content 属性可以将tag的子节点以列表的方式输出
import requests
from bs4 import BeautifulSoup
headers = {'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_3) AppleWebKit/537.36 (KHTML, like Gecko)Chrome/65.0.3325.162 Safari/537.36'}
url='https://movie.douban.com/top250'
req=requests.get(url,headers=headers)
html=req.text
#print(req.text)
soup=BeautifulSoup(html,'lxml')
print(soup.ol.contents)
执行结果:
['\n', <li>
<div class="item">
<div class="pic">
<em class="">1</em>
<a href="https://movie.douban.com/subject/1292052/">
<img alt="肖申克的救赎" class="" src="https://img9.doubanio.com/view/photo/s_ratio_poster/public/p480747492.jpg" width="100"/>
</a>
</div>
<div class="info">
...
输出方式为列表,所以可以用列表索引来获取它的某一个元素。
print(soup.ol.contents[1])
.children
返回的不是一个 list,不过我们可以通过遍历获取所有子节点。
print(soup.ol.children)
执行结果:
<list_iterator object at 0x7fbf14fbc4c0>
打印输出 .children ,可以发现它是一个 list 生成器对象,所以需要遍历一下获取内容。
for child in soup.ol.children:
print(child)
输入内容和.content差不多。
子孙节点.descendants
如果要获得所有的子孙节点的话,可以调用descendants属性,返回结果还是生成器,所以需要遍历一下输出可以看见span节点
print(soup.ol.descendants)
#print(soup.ol.children)
for child in soup.ol.descendants:
print(child)
descendants会递归查询所有子节点,得到所有的子孙节点。
获取父节点**.parent**
print(soup.ol.parent)
获取所有祖先节点,同理需要遍历获取。
for parent in soup.ol.parents:
print(parent)
获取兄弟节点:.next_sibling 和 .previous_sibling
next_sibling和previous_sibling分别获取节点的下一个和上一个兄弟元素。
print(soup.li.next_sibling)
print(soup.li.previous_sibling)
如果节点不存在,则返回 None,实际中通常是字符串或空白,因为空白或者换行也可以被视作一个节点,所以得到的结果可能是空白或者换行。
全部兄弟节点:next_siblings和previous_siblings
分别返回后面和前面的兄弟节点,同理,所有节点需要遍历获得。
print(soup.li.next_siblings)
print(soup.li.previous_siblings)
for sibling in soup.li.next_siblings:
print(sibling)
for previous in soup.li.previous_siblings:
print(previous)
前后节点:.next_element 和 .previous_element
与 .next_sibling .previous_sibling 不同,它并不是针对于兄弟节点,而是在所有节点,不分层次
比如 head 节点为
<head><title>The Dormouse's story</title></head>
那么它的下一个节点便是 title,它是不分层次关系的。
所有前后节点:.next_elements 和 .previous_elements
同理,返回的是迭代器,需要遍历获得。
eautiful Soup定义了很多搜索方法,主要用的2个方法:find() 和 find_all()
语法:find_all(name, attrs, recursive, text, **kwargs)
name:
我们可以根据节点名来查询元素。name可以是:字符串、正则表达式、列表、True、方法
print(soup.find_all('a'))
因为是Tag类型,我们可以进行嵌套查询.
for a in soup.find_all('a'):
print(a.find_all('span'))
print(a.string)
attrs
除了根据节点名查询的话,同样的也可以通过属性来查询。
print(soup.find_all(attrs={'id': 'link1'}))
print(soup.find_all(attrs={'name': 'Dormouse'}))
常用的属性比如class,我们可以直接传入class这个参数。在这里需要注意的是class是Python的保留字,所以在class的后面加上下划线。
print(soup.find_all(class_="title"))
执行结果:
<span class="title">肖申克的救赎</span>, <span class="title"> / The Shawshank Redemption</span>, <span class="title">霸王别姬</span>, <span class="title">阿甘正传</span>
除了find_all( )方法,还有find( )方法,前者返回的是多个元素,以列表形式返回,后缀是返回一个元素。即第一个元素。
find( )与find_all( )的使用方法相同。
find_parents() 和find_parent():前者返回所有祖先节点,后者返回直接父节点。
find_next_siblings()和find_next_sibling():前者返回后面的所有兄弟节点,后者返回后面第一个兄弟节点。
find_previous_siblings和find_previous_sibling():前者返回前面的所有兄弟节点,后者返回前面第一个兄弟节点。
Beautiful Soup还提供了另一种选择器,即CSS选择器。
soup.select(),返回类型是 list。
同样可以用 标签名、类名、 id 名、组合、属性查找。
获取title标签节点
print(soup.select('title'))
获取class为title的节点
print(soup.select('.title'))
获取li标签下的a节点
print(soup.select('li a'))
查找时还可以加入属性元素,属性需要用中括号括起来,
注意属性和标签属于同一节点,所以中间不能加空格,否则会无法匹配到
print soup.select('a[href="http://example.com/elsie"]')
同样可以使用嵌套查询
for ul in soup.select('ul'):
print(ul.select('li'))
for ul in soup.select('ul'):
print(ul['id'])
print(ul.attrs['id'])
for li in soup.select('li'):
print('String:', li.string)
print('get text:', li.get_text())
通过以上的方法,现在获取豆瓣电影排行首页的排名、电影名、导演演员、年份类型。
从页面分析,所有影片信息,在class标签值为grid_view的里面。
所以第一步获取所有grid_view里面所有li标签的值,返回的是一个列表。
list= soup.find(class_='grid_view').find_all('li')
排序,在列表每个元素中,获取em标签值,为排序,只取字符串。
find('em').string
电影名称,获取第一个title值
find(class_='title').string
导演和年代信息,在标签p当中,获取的是text文本格式。由于中间有空格,还有br换行符,所以最后还需要replace替换掉。
item.find('p').text.replace(' ','')
最终代码为:
url='https://movie.douban.com/top250'
req=requests.get(url,headers=headers)
html=req.text
#print(req.text)
soup=BeautifulSoup(html,'lxml')
list= soup.find(class_='grid_view').find_all('li')
for item in list:
item_num=item.find('em').string
item_name=item.find(class_='title').string
item_act=item.find('p').text.replace(' ','')
print("排名:"+item_num,"\n电影名称:"+item_name,item_act)
执行结果:
排名:1 电影名称:肖申克的救赎 导演:弗兰克·德拉邦特FrankDarabont 主演:蒂姆·罗宾斯TimRobbins/... 1994 / 美国 / 犯罪剧情 排名:2 电影名称:霸王别姬 导演:陈凯歌KaigeChen 主演:张国荣LeslieCheung/张丰毅FengyiZha... 1993 / 中国大陆中国香港 / 剧情爱情同性 排名:3 电影名称:阿甘正传 导演:罗伯特·泽米吉斯RobertZemeckis 主演:汤姆·汉克斯TomHanks/... 1994 / 美国 / 剧情爱情 排名:4 电影名称:泰坦尼克号 导演:詹姆斯·卡梅隆JamesCameron 主演:莱昂纳多·迪卡普里奥Leonardo... 1997 / 美国墨西哥澳大利亚加拿大 / 剧情爱情灾难 排名:5 电影名称:这个杀手不太冷 导演:吕克·贝松LucBesson 主演:让·雷诺JeanReno/娜塔莉·波特曼... 1994 / 法国美国 / 剧情动作犯罪 排名:6 电影名称:美丽人生 导演:罗伯托·贝尼尼RobertoBenigni 主演:罗伯托·贝尼尼RobertoBeni... 1997 / 意大利 / 剧情喜剧爱情战争 排名:7 电影名称:千与千寻 导演:宫崎骏HayaoMiyazaki 主演:柊瑠美RumiHîragi/入野自由Miy... 2001 / 日本 / 剧情动画奇幻 排名:8 电影名称:辛德勒的名单 导演:史蒂文·斯皮尔伯格StevenSpielberg 主演:连姆·尼森LiamNeeson... 1993 / 美国 / 剧情历史战争 排名:9 电影名称:盗梦空间 导演:克里斯托弗·诺兰ChristopherNolan 主演:莱昂纳多·迪卡普里奥Le... 2010 / 美国英国 / 剧情科幻悬疑冒险 排名:10 电影名称:星际穿越 导演:克里斯托弗·诺兰ChristopherNolan 主演:马修·麦康纳MatthewMc... 2014 / 美国英国加拿大 / 剧情科幻冒险 排名:11 电影名称:忠犬八公的故事 导演:莱塞·霍尔斯道姆LasseHallström 主演:理查·基尔RichardGer... 2009 / 美国英国 / 剧情 排名:12 电影名称:楚门的世界 导演:彼得·威尔PeterWeir 主演:金·凯瑞JimCarrey/劳拉·琳妮Lau... 1998 / 美国 / 剧情科幻 排名:13 电影名称:海上钢琴师 导演:朱塞佩·托纳多雷GiuseppeTornatore 主演:蒂姆·罗斯TimRoth/... 1998 / 意大利 / 剧情音乐 排名:14 电影名称:三傻大闹宝莱坞 导演:拉库马·希拉尼RajkumarHirani 主演:阿米尔·汗AamirKhan/卡... 2009 / 印度 / 剧情喜剧爱情歌舞 排名:15 电影名称:机器人总动员 导演:安德鲁·斯坦顿AndrewStanton 主演:本·贝尔特BenBurtt/艾丽... 2008 / 美国 / 科幻动画冒险 排名:16 电影名称:放牛班的春天 导演:克里斯托夫·巴拉蒂ChristopheBarratier 主演:让-巴蒂斯特·莫尼... 2004 / 法国瑞士德国 / 剧情喜剧音乐 排名:17 电影名称:无间道 导演:刘伟强/麦兆辉 主演:刘德华/梁朝伟/黄秋生 2002 / 中国香港 / 剧情犯罪惊悚 排名:18 电影名称:疯狂动物城 导演:拜伦·霍华德ByronHoward/瑞奇·摩尔RichMoore 主演:金妮弗·... 2016 / 美国 / 喜剧动画冒险 排名:19 电影名称:大话西游之大圣娶亲 导演:刘镇伟JeffreyLau 主演:周星驰StephenChow/吴孟达ManTatNg... 1995 / 中国香港中国大陆 / 喜剧爱情奇幻古装 排名:20 电影名称:熔炉 导演:黄东赫Dong-hyukHwang 主演:孔侑YooGong/郑有美Yu-miJung/... 2011 / 韩国 / 剧情 排名:21 电影名称:控方证人 导演:比利·怀尔德BillyWilder 主演:泰隆·鲍华TyronePower/玛琳·... 1957 / 美国 / 剧情犯罪悬疑 排名:22 电影名称:教父 导演:弗朗西斯·福特·科波拉FrancisFordCoppola 主演:马龙·白兰度M... 1972 / 美国 / 剧情犯罪 排名:23 电影名称:当幸福来敲门 导演:加布里尔·穆奇诺GabrieleMuccino 主演:威尔·史密斯WillSmith... 2006 / 美国 / 剧情传记家庭 排名:24 电影名称:触不可及 导演:奥利维·那卡什OlivierNakache/艾力克·托兰达EricToledano 主... 2011 / 法国 / 剧情喜剧 排名:25 电影名称:怦然心动 导演:罗伯·莱纳RobReiner 主演:玛德琳·卡罗尔MadelineCarroll/卡... 2010 / 美国 / 剧情喜剧爱情
推荐使用lxml解析库,必要时选择html.parser。相对于正则表达式,Beautiful Soup更加简单,但是网上有些推荐正则表达式,理由是精确。
具体用哪个,还是根据环境选择吧,一起使用都可以。
Copyright © 2003-2013 www.wpsshop.cn 版权所有,并保留所有权利。