python怎么爬取知乎回答并制作词云_Python 分析数万条旅游评论数据后，告诉你国庆 “坑爹” 景点背后的秘密.........

这个国庆，你出去旅游了吗？

每次假期后网友总爱去微博、知乎吐槽国庆旅游的坑爹景点，相关话题也频上热榜，在国庆期间也有相关文章^[1]

通过整理对应话题统计出最坑爹城市前 5 名分别为：杭州、西安、厦门、北京、南京

而最坑爹景点则有：西湖、兵马俑、鼓浪屿、故宫、夫子庙、黄鹤楼等^[2]

本文通过 Python 爬取旅游网站评论数据，分析这些城市和景点在国庆期间到底表现如何，是否真的像网友吐槽的那样坑爹

01

数据来源与说明

本文使用的数据均来源于携程旅行官网对应景点评论，采集时间段为 2020-09-30 至 2020-10-08

因其所有数据均来自于具体订单完成后评价，使用该的数据相比社交平台讨论数据而言将更加真实

下面将以故宫为例简单说明如何使用 Python 爬取数据，首先打开对应页面

https://you.ctrip.com/sight/beijing1/229.html

如上图所示，按下 F12 之后在评论区域点击最新即可找到存储打分、评价等数据的包，之后只需查看headers等相关信息，使用Requests构造请求即可取下数据

需要注意的是，该请求为 POST 形式，所以需要传入对应参数才可以，此处不做过多讲解

但由于我们只需要国庆期间的数据，最多的景点也不过 100 多页评论，所以另外一种方法是使用Selenium模拟浏览器操作也可以轻松成功拿下数据，之后使用pandas清洗即可。

最终本文选取的字段为：

• 时间
• 总评分
• 景色评分
• 趣味性评分
• 性价比评分
• 评价内容

02

不同城市旅游热度分析

本节我们将国庆期间各省份排名前三的景点评论数量进行汇总，整理后数据的视为该省份的旅游热度，计算得到不同省份旅游热度地图?可以看到，最热门的城市为北京，其次是江浙沪以及湖北、四川、广东、福建等省份。而这个热度排名也基本与前文提到的社交平台吐槽排名符合

现在我们对网友评出最坑爹城市前五名的杭州、西安、厦门、北京、南京的旅游景点热度单独分析从评论数量来看，热度排行前列的景点基本在北京和西安，最受欢迎的景点为西安的兵马俑

而备受吐槽的西湖、鼓浪屿、夫子庙等地在网站并没有太多的评论，可能与这些景点无需门票而无法产生订单有关

03

“坑爹”景点分析

  好评度分析

本节我们进一步对上述五个城市的景点进一步分析其坑爹程度，我们对不同景点的网友好评度进行分析

根据该网站数据，兵马俑和故宫分别斩获近 9 成网友的好评，而西湖和鼓浪屿的好评度仅在 80% 左右，黄鹤楼也有近 85% 的网友给出好评，当然这里的好评仅为网友给出的总分，可以视为整体评价，接下来将对具体的评论内容进行分析

  评论情感分析 

现在我们将每一个评论的具体内容进行情感分析

可以看到，虽然上一节的好评度分析中，每个景点都有超过 8 成的网友给出好评，但是从评价内容来看，给出正向的评价网友除了故宫之外，均不足 8 成，而整体评价较好的兵马俑，却有 24.79% 的网友给出负向评价

  其他指标分析

在我们采集到的数据字段中除了总得分(好评)之外，还有景色、趣味、性价比三个指标，现在看一下不同总分的各项指标得分对比

不难看出在高分评价中，性价比指标的得分高于趣味性，而低分评价中则恰好相反，说明性价比不足更容易更容易让网友反感

研究该部分评论发现大多是在吐槽景区的(额外)消费高。

04

“坑爹”景点说什么

最后让我们来看看上述五个景点的词云分析，看看网友到底在吐槽什么

  北京—故宫

今天恰逢紫禁城 600 周年，故宫也有很多的特别展出，大多数网友都在赞叹故宫的宏伟磅礴，而由于疫情原因，故宫限流，也有小部分人在吐槽门票难抢

  厦门—鼓浪屿

下面是鼓浪屿的评论词云，除了景色不错之外，体验一般也很突出，其次就是上面说过的性价比不足，景点消费贵

  杭州—西湖

西湖词云同样是景色不错，但是不够好玩，性价比不足，其次就是排队时间太久

其实西湖景区并不大，国庆期间难免会人人人人人?

  西安—兵马俑

从下面兵马俑词云可以看到，除了景色不错，有一部分网友表示很坑，而由于兵马俑独特的历史气息，也有一部分网友在表扬园区内的讲解?

  武汉—黄鹤楼

最后是黄鹤楼的词云，依旧是景色不错，因为坐落在湖北，疫情也被网友频频提起，免票更是引起好评，但是人多排队也是被网友吐槽?

以上就是对国庆期间国内一些景点的简单分析

其实不管哪一年，不管哪一个假期，都会有对于各个景点的吐槽，而今年由于疫情原因，大多数景区都开启了限流、关闭部分项目等措施或多或少的降低了游玩度，希望大家可以理解，也希望景区能够充分体会网友的吐槽做出相应的改变来留住游客

今年国庆你出去旅游了吗？你又踩过哪些坑？对于 “坑爹” 景点你怎么看？欢迎私信来撩～