当前位置:   article > 正文

python 爬虫,挂VPN后,requests报错

python 爬虫,挂VPN后,requests报错

需求:爬取国外某网站数据,然后向国内服务器提交爬取的数据

有两种解决方式,

1.在requests请求接口提交数据时,挂上代理

  1. // proxies 必须是key-val形式,而且严格来讲http和https要同时拥有
  2. proxies = {
  3.   "http": "http://~~",
  4.   "https": "http://~~",
  5. }
  6. requests.post(url=url,headers={~~},data=post_data, proxies=proxies))

2. 在开启vpn的插件中添加白名单(添加接口的域名或者ping一下获得ip和端口号),然后重新启动一下vpn.

声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/weixin_40725706/article/detail/811448
推荐阅读
相关标签
  

闽ICP备14008679号