当前位置:   article > 正文

爬取抖音数据实践方案《进阶版》_抖音爬取策略分析

抖音爬取策略分析

这篇文章是续上一篇(爬取抖音数据实践方案《基础版》)。根据实际情况,落地的方案是:mitmdump+模拟器+python脚本+mysql数据库。

最终达到的效果截图:

 

接下来我把上面方案拆解为以下几部分介绍,重点是模拟器的代理设置和python脚本写法。

 

一、mitmdump设置

这里假设你已经在本地电脑安装好了mitmdump代理服务器,并设置好了pc端的https证书。(不知道怎么操作可以参看上一篇文章)

 

二、模拟器的代理设置

市面上的模拟器种类很多,参差不齐。我们尽量选一款功能比较全的,并且可以录制自动执行脚本。(这个后面会用到,我用的是雷电模拟器。)

 

主要需要处理的点是:

1)模拟器代理设置

2)模拟器安装https证书

3)证书安装需要设置pin码

4)录制模拟器自动执行脚本

 

1)代理设置:

 

 

声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/从前慢现在也慢/article/detail/396579
推荐阅读
相关标签
  

闽ICP备14008679号