当前位置:   article > 正文

爬虫基础:lxml与requests库, 使用爬虫获取一个确定的简单信息

lxml与requests

lxml库是用于解析XML和HTML的工具,可以用XPath和CSs来定位元素。
Requests是著名的python HTTP库,相比与python自带的urllib库而言,requests更方便简洁,requests库更人性化。
requests.get(url) 和 request.post(url)是两种基本的发送http 请求的方法,get即发送http get请求,例如下

import lxml.html,requests
url=' http-------- '
res=requests.get(url)
ht=lxml.html.fromstring(res.text)
  • 1
  • 2
  • 3
  • 4

即得到了一个名为res的返回值(response对象)。lxml.html是lxml下的一个模块,主要负责处理HTML,
这里调用了lxml.html.fromstring()方法,对res.text作了处理,处理的是文本内容,(注意res不是一个文本,res.text是必要的)返回的ht是一个lxml中的htmlelement对象。
当然,以上对一个url进行了http get请求,得到了一个response然后做了处理成lxml中的htmlelement对象,很多时候我们不需要全部信息,只需要一部分信息,这时候可以用Xpath处理,如下(接上代码):

Xpath=‘//*[@id='-----------']pre-----’
text=ht.xpath(xpath)
print('we got'+''.join(text))
  • 1
  • 2
  • 3

Xpath用来定位了元素,xpath()方法将htmlelement元素经过xpath加工输出特定部分为一个text,注意text是一个list,要输出str要用’’+join(text)来连成str然后才可以正确print()。
request库对初学者友好,不过python官方的urllib库也很优秀,如用urllib上代码应改为:

res = urllib.request.urlopen(url).read().decode('utf-8')
ht = lxml.html.fromstring(res) #将response对象转化为lxml中的htmlelement对象是必要的,已经可以输出了,如要明确定位可以再用Xpath(不是唯一的方法)
  • 1
  • 2

urllib官方文档 地址

声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/码创造者/article/detail/1006302
推荐阅读
相关标签
  

闽ICP备14008679号