今天爬取一个网站时发现翻页URL不变,估计是做了重定向,不过没关系,再艰难的网站也能爬下来。
刚开始没什么思路,查看了网页的源代码,发现它的翻页是通过JS控制的,不像一些普通网站直接把下一页的URI写在当前页面中,后来想到这种情况有可能是通过XHR传数据实现的,于是打开开发者工具,发现压根就没有用到这种技术,但我却有别的收获——我发现主页面POST了很多数据,原来是通过这种方式,于是我开始研究这些数据的来源。
这个网站的URL是:http://ris.szpl.gov.cn/bol/index.aspx,这是政府的网站,所以各位在爬取时不要太过频繁,只当练手即可。
注意!POST的数据只有翻页后才能看到。
通过开发者工具可以看到它POST了很多数据,请看下图(右击图片,选择“在新标签页中打开图片”可查看大图):
多翻几次页可发现这几个值的变化规律如下:
“__EVENTTARGET”的值保持不变,一直都是“AspNetPager1”。
“__EV