python爬取今日头条热点新闻事件,Python爬虫实战入门五：获取JS动态内容—爬取今日头条...

作者：神奇cpp | 2024-08-10 13:23:38

踩

python获取热点事件接口

之前我们爬取的网页，多是HTML静态生成的内容，直接从HTML源码中就能找到看到的数据和内容，然而并不是所有的网页都是这样的。

有一些网站的内容由前端的JS动态生成，由于呈现在网页上的内容是由JS生成而来，我们能够在浏览器上看得到，但是在HTML源码中却发现不了。比如今日头条：

浏览器呈现的网页如下图所示：

查看源码，却是如下图所示：

网页的新闻在HTML源码中一条都找不到，全是由JS动态生成加载。

遇到这种情况，我们应该如何对网页进行爬取呢？有两种方法：

从网页响应中找到JS脚本返回的JSON数据；

使用Selenium对网页进行模拟访问

在此只对第一种方法作介绍，关于Selenium的使用，后面有专门的一篇。

一、从网页响应中找到JS脚本返回的JSON数据

即使网页内容是由JS动态生成加载的，JS也需要对某个接口进行调用，并根据接口返回的JSON数据再进行加载和渲染。

所以我们可以找到JS调用的数据接口，从数

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/神奇cpp/article/detail/958675