赞
踩
将HTML文本加载到etree对象中
调用etree的xpath()函数完成标签定位
对标签为所欲为(此时获得的标签其实是xpath()函数返回的对象)
pip install lxml
- # 首先导入模块
- from lxml import etree
从本地加载HTML
- filePath='你的HTML文件路径'
- tree=etree.parse(filePath)
从响应数据加载HTML
- url='某个网址'
- import requests
- respose=requests.get(url)
- tree=etree.HTML(respose.text)
XPath相关知识详见: https://www.runoob.com/xpath/xpath-syntax.html
xpath('xpath表达式'):
-/:最左侧的斜杠表示从根节点开始定位,中间的斜杠表示的是一个层级
-//:中间的//表示的是多个层级,最左侧的//表示从任意位置开始定位
-属性定位://tag[@属性名称='属性值']
-索引定位://tag[@属性名称='属性值']/p[3] ==> 索引从1开始
-取文本:
-/text():获取的是标签中直系的文本内容
-//text():获取的的是标签下所有的文本内容
-取属性值:
-/@属性名字
HTML文件内容:
- #test.html文件中的内容
-
-
- <html lang="en">
- <head>
- <meta charset="UTF-8" />
- <title>测试bs4</title>
- </head>
- <body>
- <div>
- <p>百里守约</p>
- </div>
- <div class="song">
- <p>李清照</p>
- <p>王安石</p>
- <p>苏轼</p>
- <p>柳宗元</p>
- <a href="http://www.song.com/" title="赵匡胤" target="_self">
- <span>this is span</span>
- 宋朝是最强大的王朝,不是军队的强大,而是经济很强大,国民都很有钱</a>
- <a href="" class="du">总为浮云能蔽日,长安不见使人愁</a>
- <img src="http://www.baidu.com/meinv.jpg" alt=""/>
- </div>
- <div class="tang">
- <ul>
- <li><a href="http://ww.baidu.com" title= "ging">清明时节雨纷纷,路上行人欲断魂,借问酒家何处有,牧童遥指杏花村</a></li>
- <li><a href="http://ww.163 .com" title="gin">秦时明月汉时关,万里长征人未还,但使龙城飞将在,不教胡马度阴山</a></li>
- <li><a href="http://ww.126.com" alt= "qi">岐王宅里寻常见,崔九堂前几度闻,正是江南好风景,落花时节又逢君</a></li>
- <li><a href="http://www.sina.com" class="du">杜甫</a></li>
- <li><a href="http://www.dudu.com" class="du">杜牧</a></li>
- <li><b>杜小月</b></li>
- <li><i>度蜜月</i></li>
- <li><a href="http://www.haha.com" id="feng">凤凰台上凤凰游,凤去台空江自流,吴宫花草埋幽径,晋代衣冠成古丘</a></li>
- </ul>
- </div>
- </body>
- </html>
测试代码:
- from lxml import etree
-
- if __name__ == '__main__':
- #实例化一个对象,且将解析的源码加载到该对象中
- tree=etree.parse('test.html')
-
- print(tree.xpath('/html/head/title'))#从根目录开始遍历html,html>head>title
- print(tree.xpath('/html//title'))#同上,这里的//表示的是多个层级
- print(tree.xpath('//div'))#最左侧的//表示从任意位置开始定位title
- print(tree.xpath('//div[@class="song"]'))#class属性定位
- print(tree.xpath('//div[@class="song"]/p[3]'))#索引定位,索引下标从1开始
- print(tree.xpath('//div[@class="tang"]/ul/li[5]/a/text()')[0])#杜牧
- print(tree.xpath('//li[7]/i/text()'))#返回的是列表['度蜜月'],若想拿值,可以加上[0]
- print(tree.xpath('//li[7]//text()')) # 同上
- print(tree.xpath('//div[@class="song"]/img/@src')[0])#取属性值
运行结果:
要爬取的网站: https://movie.douban.com/
获取li标签:'//*[@id="screening"]/div[2]/ul/li'获得的是一个li标签列表
获取电影名字:''@data-title' ==>直接获取属性值
【或者】'./ul/li[@class="title"]/a/text()' ==>获取标签文本
获得详情页的url:'./ul/li[@class="poster"]/a/@href'
进入详情页后操作类似于上面几步:
- import requests
- from lxml import etree
-
- header = {
- 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/108.0.0.0 Safari/537.36'}
- url="https://movie.douban.com/"
- res = requests.get(url, headers=header)
- # 将相应数据加载到etree对象
- tree=etree.HTML(res.text)
- li_list=tree.xpath('//*[@id="screening"]/div[2]/ul/li')
-
- for li in li_list:
- name=li.xpath('@data-title')[0]#获取属性值
- rate=li.xpath('@data-rate')[0]
- print('电影名字:',name)
- print('电影评分:',rate)
- #进入详情页
- detail_url=li.xpath('./ul/li[@class="poster"]/a/@href')[0]
- detail_res=requests.get(detail_url,headers=header)
- new_tree=etree.HTML(detail_res.text)
- new_span_list=new_tree.xpath('//div[@id="info"]/span')
- detail_info=dict()
- for span in new_span_list:
- name=span.xpath('./span[1]/text()')[0]
- value=span.xpath('./span[2]//text()')[0]
- print("%s:%s"%(name,value))
-
- break
-
运行结果:
Copyright © 2003-2013 www.wpsshop.cn 版权所有,并保留所有权利。