当前位置:   article > 正文

【python爬虫基础入门】python爬虫requests库使用操作全解_requests库是用来执行什么操作的

requests库是用来执行什么操作的

写在前面
【python爬虫基础入门】系列是对python爬虫的一个入门练习实践,旨在用最浅显易懂的语言,总结最明了,最适合自己的方法,本人一直坚信,总结才会使人提高

一.HTTP协议

使用python爬虫是建立在HTTP协议之上的,何为HTTP协议呢?

1. HTTP协议的框架

用比较容易理解的话来说,HTTP协议是一种超文本传输协议,是一个基于“请求与响应”模式的、无状态的应用层协议

  • 请求和响应:简单来说就是用户对服务器发起请求,服务器对用户的请求作出响应:
  • 无状态:用户的第一次请求和第二次请求之间没有必然的联系,
  • 应用层协议:表示该协议工作在TCP协议之上

此外HTTP协议将使用URL作为定位网路资源的标识,其URL格式如http://host[:port][path]

  • host: 合法的Internet主机域名或者IP地址
  • port:端口号,如果不写,默认缺省端口为80
  • path:请求资源的内部路径

HTTP url实例

  • http://www.baidu.com
  • http://234.190.111.148/list //list目录下的相关资源

HTTP中的url通过HTTP协议存取资源的Internet路径,一个url对应的是一个数据资源。类似于在自己电脑上各个目录下的文件 ,只不过这里的资源是放在网上的服务器中

2. HTTP协议对资源的操作

HTTP协议对资源的操作如下,requests库的各种方法是依托于HTTP的各种资源操作。

方法说明
GET请求获取URL位置的资源
HEAD请求获取URL位置资源的头部信息
POST请求向URL位置的资源后面追加新的数据
PUT请求向URL位置的资源储存一个新的资源,将覆盖原有的资源
PATCH请求局部更新URL位置的资源,即改变该处资源的一部分(更新部分内容,更节省带宽)
DELETE请求删除URL位置存储的资源

3. 用户对HTTP协议的操作

  • 用户想通过url获取资源
    • 使用GET或者HEAD方法
  • 用户想将自己的资源放在URL位置上
    • 使用POST或者PATCH或者PUT方法
  • 用户想删掉这个URL上的资源
    • 使用DELETE方法

综上来看,HTTP协议是网络传输协议的基本,也是python中requests库的爬取操作的基本,更好的理解HTTP协议可以更清楚的理解requests爬虫

二.requests库的安装

python中的requests库用于对特定的网页进行访问抓抓取操作,是python功能强大的一个库,常常应用于特定静态网页的数据抓取。使用pip工具在命令行中输入安装request库

pip install requests
  • 1

三.requests库的7个主要使用方法

requests库中包含有七个主要的方法,其中requests.request()为主方法,其他的六种方法如get,head方法等等等均是对requests.request()的封装使用。在使用的过程中,可以更具特定的需要方便选择主方法或者封装的方法,七种方法如下

方法说明
ruquests.request()构造一个请求,支撑一下各种方法的基础方法
ruquests.get()获取html网页的主要方法,对应于http的get(最常用)
ruquests.head()获取html网页头信息的方法,对应于http的head(最常用)
ruquests.post()向html网页提交post请求的方法,对应于http的post
ruquests.put()向html网页提交put请求的方法,对应于http的put
ruquests.patch()向html网页提交局部的修改请求,对应于http的patch
ruquests.delete()想html网页提交删除请求,对应于http的delete

1.方法的解析

这里以主方法request方法为例子如下

ruquests.request(method,url,**kwargs)
  • 1

这里包含有三个参数method,url,**kwargs

  • method:请求方式对应GET/HEAD/POST/PUT/PATCH/OPPTIONS七种方法,调用格式为’GET’
  • url:获取的链接
  • **kwargs:控制访问的参数,均为可选择项,共13个

其中,**kwargs包含params,data,json,headers,cookies,auth,files,timeout,proxies,allow_redirects,stream,verify,cert13个参数,参数使用说明如下

  • params:字典或者字节序列,作为参数增加到url中(常用与请求服务器特定资源)

  • kv = {'hey1':'value1', 'key2':'value2'}
    r = requests.request('GET','http://python123.io/ws', params=kv)
    print('r.url')
    
    >>>http://python123.io/ws?key1=value1&key2=value2 # ? 号后面才是要跟上的内容
    
    • 1
    • 2
    • 3
    • 4
    • 5
  • data:字典、字节序列或者文件对象,作为Request的内容(常作为向服务器提交资源使用)

  • kv = {'hey1':'value1', 'key2':'value2'}
    r = requests.request('POST','http://python123.io/ws', data=kv)
    
    # 或者直接使用字段
    body='主题内容'
    r = requests.request('POST','http://python123.io/ws', data=body)
    
    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
  • json:JSON格式的数据,作为Request的内容(常用于向服务器提交)

  • r = requests.request('POST','http://python123.io/ws', json=kv)
    
    • 1
  • headers:字典,HTTP定制头(常用于模拟游览器)

  • hd = {'user-aget':'Chrome/10'}
    r = requests.request('POST','http://python123.io/ws', hheader=hd)
    
    • 1
    • 2
  • cookies:字典或者CookieJar,Requests中的cookie,在不同用户游览器的特定页面中有特定的值

  • 在这里插入图片描述

  • auth:元祖,支持HTTP认证功能

  • files:字典类型,传输文件(常用于向服务器传输文件使用)

  • fs = {'file' : open('data.xls','rb')}
    r = requests.request('POST','http://python123.io/ws', files=fs)
    
    • 1
    • 2
  • timeout:设定超时单位,秒为单位(常用于服务器请求)

  • r = requests.request('GET','http://python123.io/ws', timeout=10)
    
    • 1
  • proxies:字典类型,设定访问代理服务器,可以增加登陆认证(常用于隐藏原ip地址)

  • pxs = {'http': 'http://user:pass@10/.10.10.1:1234'
    		'https': 'https://10.10.10.1:4321'}		
    r = requests.request('GET','http://python123.io/ws', proxies=pxs)
    
    
    • 1
    • 2
    • 3
    • 4

在这里插入图片描述

  • allow_redirects:重定向开关,默认为开启True,
  • stream:获取内容立即下载开关,默认为开启True
  • verify:认证SSL证书开关,默认为开启True
  • cert:本地SSL证书路径

request方法是最基本的方法,其他的类似于get方法等都是基于Request方法之上的一种封装形式

2.方法的使用

在网页请求中,常常使用get,head,post三种方法

a. get方法使用

import requests

r = requests.get(url)	# 获取网页网址 
print(r.status_code)			# 请求状态码

r.encoding = 'utf-8'	# 设置编码
r.text					# 将打印输出

  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8

这样的r作为Response返回的对象,包含从服务器返回的所有相关资源

  • requests.get方法的完整使用

  • requests.get(url,params=None,**kwargs)
    
    • 1
    • url: 指定页面的链接
    • params: url中的额外参数,字典或者字节流格式,为可选择项
    • **kwargs:12个控制访问的参数

Response对象的属性表如下

属性说明
r.status_codehttp请求的返回状态码,200表示连接成功,404或者其他字符表示连接失败
r.text打印http响应内容的字符串形式,即为url对应的页面内容
r.encoding从http的header中猜测的响应内容的编码方式
r.apparent_encoding从内容中分析出的响应内容编码方式(备选编码方式)
r.contenthttp响应内容的二进制形式

需要注意的是

  • r.encoding:使用的http协议中charset的默认编码格式,通常为ISO-8859-1
  • r.apparent_encoding:将会根据网页内容分析出可读的编码方式,通常为UTF-8

Response对象属性的基本流程

  • 首先使用r.status_code来检查返回的Response对象的返回状态码
    • 若返回200(可使用r.textr.encodingr.apparent_encodingr.content来解析返回的内容)
    • 若返回404或者其他编码。则访问失败

b. head方法的使用

用head方法来获取url中的头部信息,应用如下

r = requests.head(url,**kwargs)		# 获取头部信息
r.headers					# 输出头部信息

  • 1
  • 2
  • 3

c. post方法的使用

post方法可以对请求向URL位置的资源后面追加新的数据,应用如下

r = requests.post(url,**kwargs) # 模版

# 如下
payload = {'key1':'valu1', 'key2':'value2'}		# 创建一个字典
# 向URL POST一个字典,自动编码为一个form表单
r = requests.post('http://httpbin.org/post',data = payload)			# 提交修改
print(r.text)								# 打印追加后的内容
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7

在这里插入图片描述

如果不提交一个字典,只是传入一个数据,如data,这样将会自动传入一个数据量,如下

r = requests.post('http://httpbin.org/post',data = 'ABC')			# 提交修改
print(r.text)								# 打印追加后的内容
  • 1
  • 2

在这里插入图片描述

3. requests库的异常处理

常用的requests的异常处理如下

异常说明
ruquests.ConnectionError网络连接错误异常,如DNS查询失败、拒绝连接等
ruquests.HTTPErrorHTTP错误异常
ruquests.URLRequiredURL缺失异常
ruquests.TooManyRedirects超过最大重定向次数,产生重定向异常
ruquests.ConnectTimeout连接远程服务器超时异常(仅仅为与远程服务器连接过长)
ruquests.Timeout请求URL超时,产生超时异常(获得内容的整个过程)

requests库中对于异常处理的方法调用

异常方法说明
r.raise_for_status()此方法将检测返回状态码是否是200,如果不是200,则产生ruquests.HTTPError异常

四.爬取网页的通用代码框架

在爬取网页的时候需要我们搭建好一套流程,如同一套框架,清晰的框架可以使得在爬取数据的过程中,更容易检测错误。爬取原声静态网页框架可参照如下

import requests


def getHTMLText(url):
    try:
        r = requests.get(url,timeout = 30)
        r.raise_for_status()    # 检测返回状态码,反之则报错
        r.encoding = r.apparent_encoding
        return r.text           # 返回获取网页的内容
    except:
        return '产生异常'


# 主函数
if __name__ == "__main__":
    url = 'http://www.baidu.com'
    print(getHTMLText(url))
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17

五.requests库爬虫实例

1. 对京东商品页面的爬取

将游览器网址url设置为https://itm.jd.com/2967929.html使用Request库获取商品页面信息,具体代码如下

import requests
url = 'https://item.jd.com/2967929.html'
kv = {'user-agent': 'Mozilla/5.0'}      # 加入游览器头部信息,隐藏头

try:
	r = requests.get(url,header=kv)
	r.raise_for_status()
	r.encoding = r.appraent_encoding
	printf(r.txt[:1000])		# 限定显示前1000个字符
expect:
	print('爬取出错')
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11

在这里插入图片描述

2. 百度/360搜索关键字的提交

  • 百度的关键字接口http://www,baidu.com/s?wd=keyword
  • 360的搜索关键字接口http://www.so.com/s?q=keyword

代码如下

import requests
'''
使用requests库使用百度进行关键字搜索
'''

keyword = "Python"      # 要搜索的关键字

try:
    kv = {'wd':keyword}
    url = 'http://www.baidu.com/s'
    r = requests.request('Get',url,params=kv)
    # r = requests.get(url,params=kv)   # 也可用使用这样的做法
    print(r.request.url)
    r.raise_for_status()
    print(len(r.text))

except:
    print('something wrong!')
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18

在这里插入图片描述

3. 网络图片的爬取

使用requests库在特定的网页中进行网络图片的爬取,具体代码如下

# -*- coding: utf-8 -*-
# @Time  : 2020/4/14 22:08
# @Author: 哦嚯嚯哦
# @File  : Demo3.py
# @tool  : PyCharm

import requests
import os
'''
使用requests库在特定的网址获取图片,并保存在本地文件夹
'''

kv = {'User-Agent': 'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.108 Safari/537.36',
      'Referer': 'https://www.baidu.com/'     # 请求防盗链,用于请求网站的反爬
      }
url = 'https://i.loli.net/2020/05/16/nwGVPKSbtToYOac.jpg' # 图片网址
root = 'F://User_Desktop/py_test/'			# 保存路径
path = root + url.split('/')[-1]     # 使用图片的最后几个字节作为文件名存储

try:
    if not os.path.exists(root):
        os.mkdir(root)
    if not os.path.exists(path):
        r = requests.get(url, headers=kv)
        with open(path,'wb') as f:      # 以二进制方式写入
            f.write(r.content)
            r.close()
            print('文件保存成功')
    else:
        print('文件已经存在')

except:
    print('something wrong!')




  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18
  • 19
  • 20
  • 21
  • 22
  • 23
  • 24
  • 25
  • 26
  • 27
  • 28
  • 29
  • 30
  • 31
  • 32
  • 33
  • 34
  • 35
  • 36
  • 37

将上述代码改进加入循环爬取可以实现批量定向爬取网站图片,效果的话,可以自己尝试下,这里就不予展示了。

六.网络爬虫的正确使用方法

1. 网络爬虫的规模分类

根据使用网络爬虫的功能的不同,尺寸的不同,将网络爬虫分为三个类

  • 小规模:
    • 数据量小,对爬取速度不敏感
    • 主要用于爬取特定的网页
    • 主要使用Requests库
  • 中规模:
    • 数据量较大,爬取速度叫敏感
    • 主要用于爬取网站,或者爬取一系列的网站,如爬取携程上的火车票数据
    • 主要使用Scrapy库
  • 大规模
    • 搜索引擎级别
    • 用于爬取全网
    • 需要定制开发

2. 网络爬虫的风险

  • 知识 产权的风险
  • 用户隐私的泄露
  • 服务器的骚然问题(加重对网站服务器的负担量)

3. Robots协议

该协议作为网络爬虫的一种标准,内嵌于网站中,存在于网站根目录下的robots.txt文件中,告知网络爬虫哪些页面可以抓取,哪些不允许被抓取

Robots协议的基本语法

# *通配符代表素有,/表示根目录
User-Agent: *
Disallow: /
  • 1
  • 2
  • 3

Robots协议的网站举例

https://www.baidu.com/robots.txt
https://www.csdn.net/robots.txt
  • 1
  • 2

Robots协议的使用方法,在编写网络爬虫的时候,应当做到以下几点

  • 编写自动或者人工识别robots.txt,再进行爬取
  • 类人行为的网站访问,可以不用参考robots.txt协议

虽然规则已经定在哪里,但是使用爬虫的时候还是要将规则牢记于心,违法犯罪的事情千万不能做。

七.结语

有句话说的好,“爬虫学的好,监狱蹲到老”(当然这只是开玩笑的

声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/凡人多烦事01/article/detail/463306
推荐阅读
相关标签