当前位置:   article > 正文

(已解决)关键词爬取百度搜索结果,返回百度安全验证,网络不给力,请稍后重试,无法请求到正确数据的问题(2023最新)_百度不能爬了

百度不能爬了

已解决,使用关键词进行百度搜索,然后爬取搜索结果,请求数据后,返回的是百度安全验证,网络不给力,请稍后重试。无法请求到正确数据。且尝试在header中增加Accept参数还是不行。

一、问题产生的现象

     在学习过程中,写了一小段练习用的爬取程序,获取百度关键词搜索后的结果,代码如下:

  1. import requests
  2. headers = {
  3. 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/108.0.5359.95 Safari/537.36',
  4. }
  5. url = 'https://www.baidu.com/s?wd=python'
  6. reponse = requests.get(url, headers=headers, timeout=10)
  7. reponse.encoding = reponse.apparent_encoding
  8. content = reponse.text
  9. print(content)

        运行后,打印出来的结果显示:   

 

声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/IT小白/article/detail/646475
推荐阅读
相关标签
  

闽ICP备14008679号