赞
踩
最近笔者在学习移动端App爬虫,目前看来是京东比较好爬的,有些APP不给过验代理证书,今天就写一篇文章进行一下总结
windows上无法使用mitmproxy,我们用mitmdump,mitmdump的强大之处就在于他能执行python文件,接下来我们就编写一个python脚本来抓取京东的商品评论
首先我们来分析一下商品评论是在京东的哪个接口上
这里我们使用charles抓包工具,设置好代理后我们进行抓包
我们点开一个商品详情页的评论
然后一直往下滑不断刷新
观察charles的接口哪个一直在闪
我们推测是http://api.m.jd.com这里是它商品评论的放置地方
我们再点击进去查看具体情况
在这里我们找到了一个,右边评论是以json格式存储的
所以我们可以初步确定下来
我们要抓取的url是:‘
Copyright © 2003-2013 www.wpsshop.cn 版权所有,并保留所有权利。