最全【Python爬虫】爬取公众号文章制作成PDF(2)，2024年最新滴滴公司面试经验_公众号爬虫

如果你也是看准了Python，想自学Python，在这里为大家准备了丰厚的免费学习大礼包，带大家一起学习，给大家剖析Python兼职、就业行情前景的这些事儿。

一、Python所有方向的学习路线

Python所有方向路线就是把Python常用的技术点做整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照上面的知识点去找对应的学习资源，保证自己学得较为全面。

二、学习软件

工欲善其必先利其器。学习Python常用的开发软件都在这里了，给大家节省了很多时间。

三、全套PDF电子书

书籍的好处就在于权威和体系健全，刚开始学习的时候你可以只看视频或者听某个人讲课，但等你学完之后，你觉得你掌握了，这时候建议还是得去看一下书籍，看权威技术书籍也是每个程序员必经之路。

四、入门学习视频

我们在看视频学习的时候，不能光动眼动脑不动手，比较科学的学习方法是在理解之后运用它们，这时候练手项目就很适合了。

四、实战案例

光学理论是没用的，要学会跟着一起敲，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。

五、面试资料

我们学习Python必然是为了找到高薪的工作，下面这些面试题是来自阿里、腾讯、字节等一线互联网大厂最新的面试资料，并且有阿里大佬给出了权威的解答，刷完这一套面试资料相信大家都能找到满意的工作。

成为一个Python程序员专家或许需要花费数年时间，但是打下坚实的基础只要几周就可以，如果你按照我提供的学习路线以及资料有意识地去实践，你就有很大可能成功！
最后祝你好运！！！

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化学习资料的朋友，可以戳这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

好了

那么

接下来就是

学习 python 的正确姿势

这次我们通过fiddler

手机上的请求

然后再把公众号的历史文章爬取下来

最后制作成 pdf 文件

小编来画个图吧

具体就是这样

ok

有了思路之后

我们就开干

先从数据抓包开始

将手机连好同个局域网的 WIFI

然后打开 fiddler

在手机上刷一下

这个公众号的历史文章

往下多滑几下

然后来看看 fiddler 抓到了什么数据

可以发现就是这个接口一直在请求

来看看其中一个具体数据请求

可以发现

微信在获取公众号历史文章的时候

有这么些参数是要携带的

小编看了下

比较重要的两个参数是

offset 和 is_ok

应该是用来加载更多文章的参数

其他的什么 token 参数

到时候我们直接复制到 python 中进行请求就好了

再来看看返回的数据长什么鸟样

返回了一个 json

这里有个 next_offset字段

小编发现它就是用来下次请求的时候

用于 offset 这个字段的

can_msg_continue

就是用于下次请求的 is_ok 字段的

我们再来看看具体每次请求得到的

列表内容

数据很明显了

list 里面的每一个 item

都是小帅b发过的文章信息

标题、链接、作者、原文地址、封面图啥都有了

那如何区分文章是否原创的呢

看了一会发现

copyright_stat= 11

就是原创

知道了请求规则

以及返回数据的格式

接下来就可以使用代码获取啦

先来把 header 和 cookies 定义一下

假装自己是在用手机请求数据

在请求的时候

需要携带参数

这里主要是控制一下 offset

用来加载更多数据

定义好了之后

就可以使用 requests 进行请求了

先来获取所有的原创文章

然后打印一下看看

主要就是将返回的数据

使用 json 进行解析

然后判断是否可以获取更多的数据

如果还有数据的话

我们就递归请求

ok

执行一波

公众号的所有原创文章

就被我们爬取下来啦

开心得像条狗

接下来

把文章转化为 pdf 文件

文末有福利领取哦~

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/代码探险家/article/detail/901393