Python requests 多线程抓取 出现HTTPConnectionPool Max retires exceeded异常_python request模块 httpconnectionpool: m

阿里云 服务器 特价秒杀活动，优惠券，有需要的自领：https://www.aliyun.com/acts/product-section-2019/new-users?userCode=fr7cmxm9

• 场景：
  在做爬虫项目或者是在发送网络请求的时候，一般都会用到request模块，但是经常会遇到：

HTTPConnectionPool Max retires exceeded read time out的问题
1

查阅资料后发现，出现异常的原因是因为，requests在发送http请求之后，并没有关闭http连接导致，连接过多然后阻塞。
requests使用了urllib3库，默认的http connection 是keep-alive的，requests中可以设置False关闭。

实际在python2中的代码使用

s = requests.session()
s.keep_alive = False
1
2

Tips:
网上有的说是：

s = requests.session()
s.config['keep_alive'] = False
1
2

单我实际应用中报异常了。最后用第一个成功解决。

总结：
对于request库的诸多应用，应该多熟悉操作。加深印象。

推荐微信小程序阅读：

【十一】 10分钟精通微信小程序 | 云函数管理端
【十】 10分钟精通小程序 | 云函数异步返回结果
【九】10分钟精通微信小程序 | 云函数
【八】 10分钟精通微信小程序云存储 | 云存储
【七】10分钟精通微信小程序 | 增删改查
【六】10分钟精通微信小程序 | 增删改查
【五】10分钟精通微信小程序 | 云数据库增删改查
【四】10分钟精通微信小程序 | 云控制台
【三】10分钟精通微信小程序 | 光速入门
【二】10分钟精通微信小程序云开发 | 多图上传并存储路径到云数据库
【一】10分钟精通微信小程序 | 获取用户openid