当前位置:   article > 正文

爬取翻页URL不变的网站

一个网页翻页但是网站不变

今天爬取一个网站时发现翻页URL不变,估计是做了重定向,不过没关系,再艰难的网站也能爬下来。

刚开始没什么思路,查看了网页的源代码,发现它的翻页是通过JS控制的,不像一些普通网站直接把下一页的URI写在当前页面中,后来想到这种情况有可能是通过XHR传数据实现的,于是打开开发者工具,发现压根就没有用到这种技术,但我却有别的收获——我发现主页面POST了很多数据,原来是通过这种方式,于是我开始研究这些数据的来源。

这个网站的URL是:http://ris.szpl.gov.cn/bol/index.aspx,这是政府的网站,所以各位在爬取时不要太过频繁,只当练手即可。

注意!POST的数据只有翻页后才能看到。

通过开发者工具可以看到它POST了很多数据,请看下图(右击图片,选择“在新标签页中打开图片”可查看大图):

132932_Wj8c_3263701.png

多翻几次页可发现这几个值的变化规律如下:

“__EVENTTARGET”的值保持不变,一直都是“AspNetPager1”。

“__EV

声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/Gausst松鼠会/article/detail/489067
推荐阅读
相关标签
  

闽ICP备14008679号