python写的爬虫，抓取百度的搜索结果，被屏蔽了怎么办？_python爬取百度搜索不成功

某乎上有个热门话题，引起了很大的讨论。

这个问题通常是由于频繁的请求导致百度的反爬虫机制触发了验证码的保护机制。

解决办法无非是那几套流程走一遍。

1.增加请求的时间间隔

通过在每个请求之间增加一些时间间隔，可以降低请求频率，从而避免被反爬虫机制检测到。例如，可以使用time模块中的sleep函数在每个请求之间添加一定的延迟。

2.修改请求头信息

百度反爬虫机制通常会检测请求头信息，您可以尝试修改请求头信息中的User-Agent、Referer等参数来模拟真实的浏览器行为，减少被检测到的概率。例如，可以使用fake_useragent库来生成随机的User-Agent。

3.使用Selenium等工具

Selenium是一款自动化测试工具，可以模拟真实的浏览器行为来进行爬取。通过使用Selenium可以避免被反爬虫机制检测到，但是相对来说速度较慢。

4.使用优质的HTTP代理

虽然这位同学说已经更换过HTTP代理了，但实际上这个HTTP代理是否优质，是否高匿名，是否节点够广，这些都不知道。也许你这家的质量不是很好呢，毕竟HTTP大厂如某麻都很多人骂，青果、快代理这种后起之秀反而成为越来越多人的选择。

建议购买这些HTTP代理之前，先入手测试一