爬虫基础：lxml与requests库, 使用爬虫获取一个确定的简单信息

lxml库是用于解析XML和HTML的工具，可以用XPath和CSs来定位元素。
Requests是著名的python HTTP库，相比与python自带的urllib库而言，requests更方便简洁，requests库更人性化。
requests.get(url) 和 request.post(url)是两种基本的发送http 请求的方法，get即发送http get请求，例如下

import lxml.html,requests
url=' http-------- '
res=requests.get(url）
ht=lxml.html.fromstring(res.text)
1
2
3
4

即得到了一个名为res的返回值（response对象）。lxml.html是lxml下的一个模块，主要负责处理HTML，
这里调用了lxml.html.fromstring()方法，对res.text作了处理，处理的是文本内容，（注意res不是一个文本，res.text是必要的）返回的ht是一个lxml中的htmlelement对象。
当然，以上对一个url进行了http get请求，得到了一个response然后做了处理成lxml中的htmlelement对象，很多时候我们不需要全部信息，只需要一部分信息，这时候可以用Xpath处理，如下(接上代码)：

Xpath=‘//*[@id='-----------']pre-----’
text=ht.xpath(xpath)
print('we got'+''.join(text))
1
2
3

Xpath用来定位了元素，xpath()方法将htmlelement元素经过xpath加工输出特定部分为一个text，注意text是一个list，要输出str要用’’+join(text)来连成str然后才可以正确print()。
request库对初学者友好，不过python官方的urllib库也很优秀，如用urllib上代码应改为：

res = urllib.request.urlopen(url).read().decode('utf-8')
ht = lxml.html.fromstring(res) #将response对象转化为lxml中的htmlelement对象是必要的，已经可以输出了，如要明确定位可以再用Xpath（不是唯一的方法）
1
2

urllib官方文档 地址