Python（应用）网页爬虫之BS4(Beautiful Soup)用法及案例_bs4案例

作者：从前慢现在也慢 | 2024-07-18 19:40:55

踩

bs4案例

一、Beautiful Soup
BeautifulSoup库是灵活又方便的网页解析库，处理高效，支持多种解析器。利用它不用编写正则表达式即可方便地实现网页信息的提取。
安装：pip3 install beautifulsoup4
解析库

解析器	使用方法	优势	劣势
Python标准库	BeautifulSoup(markup, “html.parser”)	Python的内置标准库、执行速度适中、文档容错能力强	Python 2.7.3 or 3.2.2)前的版本中文容错能力差
lxml HTML 解析器	BeautifulSoup(markup, “lxml”)	速度快、文档容错能力强	需要安装C语言库
lxml XML 解析器	BeautifulSoup(markup, “xml”)	速度快、唯一支持XML的解析器	需要安装C语言库
html5lib	BeautifulSoup(markup, “html5lib”)	最好的容错性、以浏览器的方式解析文档、生成HTML5格式的文档	速度慢、不依赖外部扩展
二、案例

案例一：豆瓣电影网站
1、上脚本

#!/usr/bin/env python
# -*- coding: utf-8 -*-
# @Time    : 2021/02/01 10:00
# @Author  :
# @Site    : 
# @File    : 
# @Software: PyCharm

import requests
from bs4 import BeautifulSoup

url = "https://movie.douban.com/cinema/nowplaying/xian/"

# 获取页面信息
#加上请求头，模拟成浏览器取访问网站，避免请求头反爬策略：HTTP Error 418,注意headers是dic
headers
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/从前慢现在也慢/article/detail/847363?site