Python的http模块requests

模块简介：

requests 库是一个 python中比较有名的 http请求的库，能处理 get,post,put,delete 等 restful请求，能设置 header，cookie,session 等操作，也是作为爬虫的基础库，它目前还不能异步请求,如果要支持异步，官网文档上也说，用 httpx 等代替。官方文档网址：https://requests.readthedocs.io/en/latest/

requests模块的作用

• 发送 http 请求，获取响应数据

安装

pip install requests
1

响应对象

• text str
• content bytes

使用requests.get()发送请求

发送带请求头的请求

  requests.get(url,headers={User-Agent:xxxx})
1

发送带参数的请求

• url中直接带参数
• 用字典的方式传参数

requests.get(url,params={param1: xxxx, param2:xxx2})
1

在 headers参数中携带 Cookie

网站经常利用请求头中的 Cookie 字段来做用户访问状态的保持，那么我们可以在 headers 参数中添加 Cookie，模拟普通用户的请求。我们以 github 登录为例：

• github登录抓包分析
  • 无痕窗口打开chrom浏览器，右键–>检查，点击 Network
  • 访问 github登录的 url 地址 https://github.com/用户名
  • 输入账号密码点击登录后，访问一个需要登录后才能获取正确内容的 url，比如点击右上角的 Your profile 访问 https://github.com/USER_ANME
  • 确定 url之后，再确定发送请求所需要的请求头信息中的User-Agent 和 Cookie
• cookies 参数的使用
  • cookies参数的形式：字典
    • cookies = {“cookie的名字”:“cookie的值”}
    • 该字典对应请求头中 Cookie 字符串，以分号、空格分割每一对字典键值对
    • 等号左边的一个 cookie 的 name，对应 cookies 字典的 key
    • 等号右边对应 cookies 字典的 value
  • cookies 参数的使用方法

  response = requests.get(url,cookies)
1

• 注意：cookie 一般是又过期时间的，一旦过期需要重新获取
• cookieJar 对象转换成 cookies 字典的方法

使用 requests获取的 response 对象，具有 cookie 属性。该属性是一个 cookieJar 类型，包含了对方服务器设置在本地的 cookie。可以将其转换成 cookies 字典

response.txt 和 response.content 的区别：

• response.text
  • 类型：str
  • 解码类型：requests模块自动根据 http 头部对响应码作出有根据的推测，推测的文本编码。
• response.content
  • 类型：bytes
  • 解码类型：默认是 utf-8

response 响应对象的其他常用属性或方法

response = requests.get(url)中 response是发送请求获取的响应对象；response 响应对象中除了 text、content获取响应内容意外还有其他常用的属性或方法：

• response.url：响应的 url；有时候响应的 url 和请求的 url 并不一致
• response.status_code：响应状态码
• response.request.headers：响应对应的请求头
• response.headers：响应头
• response.request_cookies：响应对应请求的 cookie；返回 cookieJar 类型
• response.cookies：响应的 cookie（经过了 set-cookie 动作；）返回 cookieJar 类型
• response.json()；自动将 json字符串类型的响应内容转换成 python 对象(dict or list)

代理的使用

• 理解代理的过程
  • 代理 ip是一个 ip，指向的是一个代理服务器
  • 代理服务器能够帮助我们向目标服务器转发请求

• 正向代理和反向代理的区别

前边提到 proxy 参数指定的代理 ip指向的是正向的代理服务器，那么响应的就有反向服务器；现在来了解正向和反向这两者的区别

1. 从发送请求方的角度，来区分正向和反向代理
2. 为浏览器或客户端(发送请求的一方)转发请求的，叫做正向代理
   1. 浏览器知道最终处理请求的服务器的真实 ip地址，例如VPN等翻墙软件
3. 不为浏览器或客户端(转发请求)，而是为最终处理请求的服务器转发请求的，叫反向代理
   1. 浏览器不知道服务器的真实地址，而都是去访问 nginx，nginx 通过负载均衡再分发到不同的 web 服务器(tomcat,php-fpm等)。

• 代理ip（代理服务器）的分类
  1. 根据代理ip 的内名成都，代理 IP 分为下面三类：
     1. 透明代理（Transparent Proxy）：透明代理虽然可以直接"隐藏"你的IP 地址，但是还是可以查到你是谁，目标服务器接受到的请求头如下：

REMOTE_ADDR = 代理IP
HTTP_VIA = 代理IP
HTTP_X_FORWARDED_FOR = 你的真实IP
1
2
3

  2. 匿名代理（Anonymous Proxy）：使用匿名代理，别人只能直到你用了代理，无法直到你是谁。目标服务器接收到的请求头付下
1

REMOTE_ADDR = 代理IP
HTTP_VIA = 代理IP
HTTP_X_FORWARDED_FOR = 代理IP
1
2
3

  3. 高匿代理（Elite proxy 或 High Anonymity Proxy）：高匿代理让别人无法发现你在用代理，所以是最好的选择。毫无疑问使用高匿代理效果最好，费用也昂贵，目标服务器接收到的请求头如下：
1

REMOTE_ADDR = 代理IP
HTTP_VIA = not datermined
HTTP_X_FORWARDED_FOR = not determined
1
2
3

• 根据网站使用的协议不同，需要使用相应协议的代理服务器。从代理服务请求使用的协议有如下3个：
  • http代理：目标 url 为 http 协议
  • https 代理：目标 url为 https 协议
  • socks 隧道代理（如 socks5代理）等(用的比较少)：
    • socks 代理是 socket 层，只简单地传递数据包，不关心是何种应用协议（FTP、HTTP 和 HTTPS）
    • socks 代理比 http、https 代理耗时少。
    • scoks代理可以转发 http 和 https 的请求
• proxies 代理参数的使用

为了让服务器以为不是同一个客户端在请求；为了防止频繁像一个域名发送请求被封 ip，所以我们需要使用代理 ip;

• 用法

resp = requests.get(url,proxies=proxies_dict)
1

• proxies 的形式：字典
• 例如：

proxies_dict = {
    "http:": "http://xxx.xxx.xx.xx:33502",
    "https": "https://xx.xx.xx.xxx1:33220"
}
1
2
3
4

• 注意：
  • 如果目标地址只支持 http 的，那么我们这个代理 ip 就不能使用 https，如果目标地址支持https，那么同时也能用 http
  • 如果proxies 字典包含多个键值对，发送请求时将按照 url 地址的协议来选择使用响应的代理 ip
  • 当代理ip失效时，要么就是一直卡着，要么就是报错

request.post模拟表单提交

request.session进行登录状态保持

requests 模块中的 Session类能够自动处理发送请求获取响应过程中产生的 cookie，进而达到状态保持的目的。接下来我们来学习它

requests.session 的作用以及引用场景

• requests.session 的作用
  • 自动处理 cookie，即下一次请求会带上前一次的 cookie
• requests.session 的应用场景
  • 自动处理连续的多次请求过程中产生的 cookie

requests.session 使用方法

session 实例在请求了一个网站后，对方服务器设置在本地 cookie 会保存在 session 中，下一次再使用 session请求对方服务器的时候，会带上前一次的 cookie

# 实例化 session 对象
session = requests.session()
response = session.get(url,headers, ...)
response = session.post(url,data,headers, ...)
1
2
3
4

• session 对象发送 get或 post 请求的参数，与 requests模块发送的参数完全一致