python爬取分页数据_python爬虫抓取分页

作者：盐析白兔 | 2024-07-30 04:44:04

踩

python爬虫抓取分页

今天需要到这个广东省科学技术厅网站上查一个办件信息，结果发现……
在这里插入图片描述
这个不能直接选页码也不能搜索的分页真是剧毒……好几百页让人怎么翻呢。。。

于是我果断F12看一下
在这里插入图片描述

可以看到请求的url和post的表单数据，复制到浏览器看看
这里最重要的参数就是pageNum（第几页）和pageSize（每页有多少条数据）
http://zwfw.gd.gov.cn/portal/xnjd/bjxx?pageNum=1&pageSize=10&orgCode=006939801&xzqhdm=440000&url=%2Fprocess-details&phase=5
在这里插入图片描述
果然是第一页的10条数据，可以改它的pagesize，但是我发现最大只能改到50&

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/盐析白兔/article/detail/902005