赞
踩
已解决,使用关键词进行百度搜索,然后爬取搜索结果,请求数据后,返回的是百度安全验证,网络不给力,请稍后重试。无法请求到正确数据。且尝试在header中增加Accept参数还是不行。
在学习过程中,写了一小段练习用的爬取程序,获取百度关键词搜索后的结果,代码如下:
- import requests
-
- headers = {
- 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/108.0.5359.95 Safari/537.36',
- }
- url = 'https://www.baidu.com/s?wd=python'
- reponse = requests.get(url, headers=headers, timeout=10)
- reponse.encoding = reponse.apparent_encoding
- content = reponse.text
- print(content)
运行后,打印出来的结果显示:
Copyright © 2003-2013 www.wpsshop.cn 版权所有,并保留所有权利。