python---beautifulsoup4库及用法

作者：IT小白 | 2024-02-25 10:30:05

踩

beautifulsoup4

beautifulsoup4库

1.beautifulsoup4库概述

beautifulsoup4库也称为bs4库或BeautifulSoup库 Python用于网页分析的第三方库，用来快速转换被抓取的网页。
beautifulsoup4将网页转换为一颗DOM树。
beautifulsoup4提供一些简单的方法以及类Python语法来查找、定位、修改一棵转换后的DOM树，还能自动将送进来的文档转换为Unicode编码。

2. beautifulsoup4库的对象

BeautifulSoup将HTML文档转换成一个树形结构，每个结点都是
对象，可以归纳为4种类型：Tag、NavigableString、BeautifulSoup、Comment。
Tag对象，HTML中的一个标签。
NavigableString对象，用于操纵标签内部的文字，标签的string属性返回NavigableString对象
BeautifulSoup对象，表示的是一个文档的全部内容，大部分时候可以把它看作是一个特殊的Tag。
Comment对象，是一个特殊类型的NavigableSting对象，它的内容不包括注释符号。

3.beautifulsoup4库-操作解析文档树

1. 遍历文档树

（1）获取直接子结点 contents属性和children属性可以获取Tag的直接子结点。
（2）获取所有有子结点 descendants属性可以对所有Tag的子结点进行递归循环，需要遍历获取其中的内容。
（3）获取结点内容
当标签中不再包含标签，string属性返回标签中的内容；
标签中内嵌唯一标签，那么string属性返回最里面标签的内容；
Tag包含了多个子标签结点，string的输出结果是None。
（4）获取多项内容 strings属性用于获取多个内容，需要遍历获取。
（5）父结点父结点是当前结点的上级结点，parent属性用于获取父结点。
（6）兄弟结点兄弟结点可以理解为和本结点处在同一层级的结点，next_sibling属性用于获取当前结点的下一个兄弟结点，previous_sibling则与之相反，如果结点不存在，则返回None。

2. 搜索文档树
（1）find_all()方法

搜索当前Tag的所有子结点，语法如下。 find_all(name,attrs,recursive,text,**kwargs)
name：名字为name的标签。 attrs：按照Tag标签属性值检索，采用字典形式。
recursive：如果只想搜索Tag的直接子结点，可以使用参数recursive=False。
text：通过text参数可以搜索文本字符中内容。 limit：限制返回结果的数量。

（2）find()方法

find()方法返回找到的第一个结果。
find(name,attrs,recursive,text)
参数含义与find_all()方法完全相同。

3. 用CSS选择器筛选元素

CSS的选择器用于选择网页元素，可以分为标签选择器、类选择器和id选择器三种。
在CSS中，标签名不加任何修饰，类名前面需要加点(.)标识，id名前加#号来标识。
在bs4库中，也可以利用类似的方法来筛选元素，用到的方法是soup.select()，返回类型是列表。

4.beautifulsoup4库-基本操作

>>> from bs4 import BeautifulSoup
>>> BeautifulSoup('hello world!', 'lxml')      #自动添加标签
<html><body><p>hello world!</p></body></html>

>>> BeautifulSoup('<span>hello world!', 'lxml') #自动补全标签
<html><body><span>hello world!</span></body></html>
1
2
3
4
5
6

>>> html_doc = """
<html><head><title>The Dormouse's story</title></head>
<body>
<p class="title"><b>The Dormouse's story</b></p>

<p class="story">Once upon a time there were three little sisters; and their names were
<a href="http://example.com/elsie" class="sister" id="link1">Elsie</a>,
<a href="http://example.com/lacie" class="sister" id="link2">Lacie</a> and
<a href="http://example.com/tillie" class="sister" id="link3">Tillie</a>;
and they lived at the bottom of a well.</p>

<p class="story">...</p>
"""
1
2
3
4
5
6
7
8
9
10
11
12
13

>>> soup = BeautifulSoup(html_doc, 'html.parser') #也可以指定lxml或其他解析器                                   
>>> print(soup.prettify())                        #以优雅的方式显示出来
<html>
 <head>
  <title>
   The Dormouse's story
  </title>
 </head>
 <body>
  <p class="title">
   <b>
    The Dormouse's story
   </b>
  </p>
  <p class="story">
   Once upon a time there were three little sisters; and their names were
   <a class="sister" href="http://example.com/elsie" id="link1">
    Elsie
   </a
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/IT小白/article/detail/140364