Beautiful Soup4库的使用_beautiful soup find class

一、Beautiful Soup4库的使用

• BeautifulSoup库是解析、遍历、维护“标签树”的功能库
• Beautiful Soup库，也叫beautifulsoup或bs4库
  • 安装：pip install beautifulsoup4
  • 在程序中导入：from bs4 import BeautifulSoup

#创建BeautifulSoup对象
soup = BeautifulSoup("<p>data</p>","html.parser")
#·                    解析对象          解析器
1
2
3

BeautifulSoup库的基本元素

<p>..</p>:标签Tag
例如：
<p                  class="title">...</p>
名称Name成对出现。  属性Attributes 0个或多个

1
2
3
4
5

1)Beautiful Soup库解析器

2)Beautiful Soup类的基本元素

实例1

import requests
from bs4 import BeautifulSoup

r = requests.get("https://python123.io/ws/demo.html")
demo = r.text
soup = BeautifulSoup(demo,"html.parser")

print(soup.title) #标题标签
print(soup.a) #返回第一个链接标签
print(soup.a.name) #返回a标签的名字
print(soup.a.parent.name) #返回父标签的名字


tag = soup.a
print(tag.attrs) #获得a标签的所有属性,字典形式
print(tag.attrs['class'])#获得a标签的class属性内容
print(tag.string)#返回标签包含的非属性字符串，可以跨多个标签层次
print(tag.comment)

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19

2、基于bs4库的HTML内容遍历方法

3)标签数的下行遍历

实例2

import requests
from bs4 import BeautifulSoup

r = requests.get("https://python123.io/ws/demo.html")
demo = r.text
soup = BeautifulSoup(demo,"html.parser")

print(soup.head) #获取head标签的内容
print(soup.head.contents) #获取head标签的儿子节点列表

print(soup.body.contents)#\n也是子节点
1
2
3
4
5
6
7
8
9
10
11

4)标签数的上行遍历

实例3

import requests
from bs4 import BeautifulSoup

r = requests.get("https://python123.io/ws/demo.html")
demo = r.text
soup = BeautifulSoup(demo,"html.parser")

print(soup.title.parent) #获取title标签的父标签
print(soup.html.parent)#获取html标签的父标签
for parent in soup.a.parents:
    if parent is None:
        print(parent)
    else:
        print(parent.name)

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15

5)标签树的平行遍历

• 平行遍历发生在同一个父节点下的各节点间

实例4

import requests
from bs4 import BeautifulSoup

r = requests.get("https://python123.io/ws/demo.html")
demo = r.text
soup = BeautifulSoup(demo,"html.parser")


print(soup.a.next_sibling) #a标签的下一个平行节点
print(soup.a.next_sibling.next_sibling) #a标签的下一个平行节点的下一个平行节点
print(soup.a.previous_sibling)#a标签的上一个平行节点
print(soup.a.previous_sibling.previous_sibling)#a标签的上一个平行节点上一个平行节点

1
2
3
4
5
6
7
8
9
10
11
12
13

3、基于bs4库的HTML格式化和编码

在bs4中使用prettify()方法对html格式化
实例5

import requests
from bs4 import BeautifulSoup
r = requests.get("https://python123.io/ws/demo.html")
demo = r.text
soup = BeautifulSoup(demo,"html.parser")
print(soup.prettify())  #对整个html格式化，标签和文本内容后添加换行符
print(soup.a.prettify()) #对于a标签进行格式化
1
2
3
4
5
6
7

实例6（信息查找）

import requests,re
from bs4 import BeautifulSoup

r = requests.get("https://python123.io/ws/demo.html")
demo = r.text
soup = BeautifulSoup(demo,"html.parser")
for link in soup.find_all('a'):
    print(link.get("href")) #获取链接
1
2
3
4
5
6
7
8

4、文档中搜索

4-1、过滤器

• Beautiful Soup定义了很多搜索方法,这里着重介绍2个: find() 和 find_all()
• < tag>(…) 等价于 < tag>.find_all(…)
• soup(…) 等价于 soup.find_all(…)
• <>.find_all(name,attrs,recursive,string,**kwargs)

  • 返回一个列表类型，存储查找的结果

  • name:对标签名称的检索字符串

    • 查找所有的< b>标签
      soup.find_all('b') #[<b>The demo python introduces several python courses.</b>]

    • 查找a标签和b标签
      soup.find_all(['a','b'])

    • 查找所有标签
      soup.find_all(True)

    • 使用re查找所有b开头的标签
      soup.find_all(re.compile('b'))

  • attrs:对标签属性值的检索字符串，可标注属性检索

    • 返回带有course属性的p标签
      soup.find_all('p','course')

    • 返回属性中id等于link1的标签
      soup.find_all('p','course')

  • recursive:是否对子孙全部检索，默认位True

  • string：<>…<>中字符串区域的检索字符串

    • 检索string内容为python的内容
      soup.find_all(string = re.compile("python"))

6)、find_all()扩展方法