Python lxml库的安装和使用_pip install lxml

lxml 是 Python 的第三方解析库，完全使用 Python 语言编写，它对 Xpath 表达式提供了良好的支持，因此能够了高效地解析 HTML/XML 文档。本节讲解如何通过 lxml 库解析 HTML 文档。

安装lxml库

lxml 属于 Python 第三方库，因此需要使用如下方法安装：

**

pip3 install lxml
1

在 CMD 命令行验证是否安装成功。若引入模块，不返回错误则说明安装成功。

**

>>> import lxml
>>>
1
2

lxml使用流程

lxml 库提供了一个 etree 模块，该模块专门用来解析 HTML/XML 文档，下面我们简单介绍一下 lxml 库的使用流程，如下所示：

1) 导入模块

**

from lxml import etree
1

2) 创建解析对象

调用 etree 模块的 HTML() 方法来创建 HTML 解析对象。如下所示：

**

parse_html = etree.HTML(html)
1

HTML() 方法能够将 HTML 标签字符串解析为 HTML 文件，该方法可以自动修正 HTML 文本。示例如下：

1. from lxml import etree
2. html_str = ‘’’
6. Python
8. Java
10. C语言中文网
12. 百度
14. 京东
17. ‘’’
18. html = etree.HTML(html_str)

20. tostring()将标签元素转换为字符串输出，注意：result为字节类型

21. result = etree.tostring(html)
23. print(result.decode(‘utf-8’))

输出结果如下：

4. Python
6. Java
8. C语言中文网
10. 百度
12. 京东

上述 HTML 字符串存在缺少标签的情况，比如“C语言中文网”缺少一个 闭合标签，当使用了 HTML() 方法后，会将其自动转换为符合规范的 HTML 文档格式。

3) 调用xpath表达式

最后使用第二步创建的解析对象调用 xpath() 方法，完成数据的提取，如下所示：

**

r_list = parse_html.xpath('xpath表达式')
1

lxml库数据提取

下面通过一段 HTML 代码实例演示如何使用 lxml 库提取想要的数据。HTML 代码如下所示：

2. website product
5. 编程
7. 微博
9. 百度贴吧
11. 天猫淘宝
13. 京东购物
15. 编程
17. 安全卫士
19. 视频娱乐
21. 年轻娱乐
23. 搜索引擎

1) 提取所有a标签内的文本信息

1. from lxml import etree

2. 创建解析对象

3. parse_html=etree.HTML(html)

4. 书写xpath表达式,提取文本最终使用text()

5. xpath_bds=‘//a/text()’

6. 提取文本数据，以列表形式输出

7. r_list=parse_html.xpath(xpath_bds)

8. 打印数据列表

9. print(r_list)

输出结果：

**

['website product', '编程', '微博', '百度贴吧', '天猫淘宝', '京东购物', '编程', '安全卫士', '视频娱乐', '年轻娱乐', '搜索引擎']
1

2) 获取所有href的属性值

1. from lxml import etree

2. 创建解析对象

3. parse_html=etree.HTML(html)

4. 书写xpath表达式,提取文本最终使用text()

5. xpath_bds=‘//a/@href’

6. 提取文本数据，以列表形式输出

7. r_list=parse_html.xpath(xpath_bds)

8. 打印数据列表

9. print(r_list)

输出结果：

**

['http://www.biancheng.net/product/', 'http://www.biancheng.net/', 'http://world.sina.com/', 'http://www.baidu.com', 'http://www.taobao.com', 'http://www.jd.com/', 'http://c.bianchneg.net/', 'http://www.360.com', 'http://www.bytesjump.com/', 'http://bzhan.com/', 'http://hao123.com/']
1

3) 不匹配href=" www.biancheng.net/priduct"

1. from lxml import etree

2. 创建解析对象

3. parse_html=etree.HTML(html)

4. 书写xpath表达式,提取文本最终使用text()

5. xpath_bds=‘//a/@href’

6. 提取文本数据，以列表形式输出

7. xpath_bds=‘//ul[@id=“sitename”]/li/a/@href’

8. 打印数据列表

9. print(r_list)

输出结果：

这里给大家分享一份Python全套学习资料，包括学习路线、软件、源码、视频、面试题等等，都是我自己学习时整理的，希望可以对正在学习或者想要学习Python的朋友有帮助！

CSDN大礼包：全网最全《全套Python学习资料》免费分享

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/AllinToyou/article/detail/591652