赞
踩
最近在用Python爬取数据,结果在运行一段时间后总是报错:
Failed to establish a new connection: [Errno 10060]
一开始我以为是网站管理员发现,关掉了我的连接。但是今天百度了一下之后发现原来是自己的程序里还存在bug。因为一次程序启动,不断爬取,需要多次(至少上万次)调用requests.get(),结果每次调用都会占用一个connection。
在网上找到一个台湾阿宅的blog,终于看到解决方法,在此感谢。具体解决方法就是:**在发起一个http request之后设定header将其关闭。**修改如下:
qurl = "https://……"
qheaders = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64)", "Connection": "close"}
r = requests.get(qurl, headers = qheaders)
Copyright © 2003-2013 www.wpsshop.cn 版权所有,并保留所有权利。