爬取携程和蚂蜂窝的景点评论数据\携程评论数据爬取\旅游网站数据爬取_哪个网站可以获取景点评分

作者：知新_RL | 2024-05-24 07:40:10

踩

哪个网站可以获取景点评分

本人长期出售超大量微博数据、旅游网站评论数据，并提供各种指定数据爬取服务，Message to YuboonaZhang@Yahoo.com。同时欢迎加入社交媒体数据交流群：99918768

前言

为了获取多源数据需要到各个网站获取一些景点的评论信息和图片，首先选到了携程和蚂蜂窝这两个网站，将一些爬取过程记录下来

首先我们去携程的鼓浪屿景点速览看一下我们要爬取的页面，大概发现有几十个景点，每个景点的结构应该都是差不多的，所以我们选择第一个景点进去看看具体的页面应该怎么爬取。

鼓浪屿评论分析

我们需要的是红圈的部分，很容易可以知道这个评论页面是动态加载的，所以不能直接用bs4或者正则直接提取元素，我们需要分析一下页面动态传输的接口。打开chrome审查元素,切换到network查看一下传输的内容，首先清空内容避免干扰，然后点击下一页，我们可以得到

鼓浪屿审查元素

通过查看传回的数据我们可以得到这就是我们所要的接口，使用的是post进行传输，传输的Form Data

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/知新_RL/article/detail/616445