热门标签
热门文章
- 1【数据】Hive和SQL的区别_hive感觉和sql差不多啊
- 2408王道操作系统强化——操作系统大串讲_408串讲
- 3Mysql全文搜索match...against的用法 转自：http://dao.daimaku.com_sql against
- 4亿信ABI有什么不同，来看最新DEMO演示_亿信演示
- 5【Python报错】已解决ValueError: cannot reindex from a duplicate axis
- 6河南萌新联赛2024第（二）场：南阳理工学院 E - “好”字符
- 7如何用Python Faust构建流数据管道（上篇）_faust python agent
- 8Spring核心接口：HandlerMethodArgumentResolver参数解析器
- 9【ESP01开发实例】-驱动OLED SSD1306显示屏
- 10请求被中止: 未能创建 SSL/TLS 安全通道_未能创建ssltls安全通道
当前位置: article > 正文
Python爬虫随机切换请求头_爬虫request请求中,请求头有个参数每次请求都发生变化
作者：繁依Fanyi0 | 2024-08-09 19:45:18
赞
踩
爬虫request请求中,请求头有个参数每次请求都发生变化
大家都知道写爬虫的时候，在进行 request 请求的时候，多数情况下需要添加请求头，修改 User-Agent 来伪装浏览器，否则不会返回想要的数据
今天在爬取某个正版小说网站时，requests请求一直返回403...<这网站贼恶心,反爬太多> 在反复检查过Host 、referer、cookie、验证码、IP等机制后发现没啥问题啊...
会不会是UA的问题??? 不应该吧???我可是建立了UA池的,每次都随机携带的...
解决方案：
调用一个库 fake-useragent
安装：pip3 install fake_useragent
引用：from fake_useragent import UserAgent
headers = {"User-Agent": UserAgent().chrome}原来人家把我UA池的请求头给办了，结果就这样解决了......
本文内容由网友自发贡献，转载请注明出处：https://www.wpsshop.cn/w/繁依Fanyi0/article/detail/954867
推荐阅读
相关标签
