PythonrequestsHTTP“Maxretriesexceededwithurl”error_python爬取报错http max

作者：菜鸟追梦旅行 | 2024-04-08 09:28:16

踩

python爬取报错http max

今天跑了一下之前写的额爬虫，发现频繁执行时会报出一个超过最大连接数的问题。

网上查了一下，

原因是http连接太多没有关闭导致的。

通俗来说就是每次爬取时建立一个HTTP连接，但是这个http连接没有结束，又新建了连接。

解决办法：

1、增加重试连接次数

  requests.adapters.DEFAULT_RETRIES = 5

2、关闭多余的连接

requests使用了urllib3库，默认的http connection是keep-alive的，requests设置False关闭。


  s = requests.session()
 
 
  s.keep_alive = False

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/菜鸟追梦旅行/article/detail/384473