python爬取携程旅行网景点评论_携程python爬虫

爬取携程旅行网的景点评论数据，使用selenium爬取edge浏览器的网页文本数据。

携程的评论数据还是比较好爬取，不像大众点评需要你登录验证杂七杂八的，只需要找准你想要爬取的网页链接就能拿到想要的文本数据。

这里就不得不提一下爬取过程中遇到的问题，就是关于无头模式和有头模式，首先介绍一下什么是无头模式和有头模式：

无头模式和有头模式是指网络爬虫在执行过程中是否显示浏览器的界面。

有头模式是指网络爬虫在执行过程中会显示浏览器的界面，可以看到爬取过程中的页面加载、点击等操作，可以进行人工干预和调试。有头模式一般用于开发和调试阶段，便于观察爬虫的执行情况。

无头模式是指网络爬虫在执行过程中不显示浏览器的界面，所有的操作都在后台进行，不会干扰用户的正常使用。无头模式一般用于实际的爬取任务，可以提高爬取效率，减少资源消耗。

总的来说，无头模式和有头模式的区别在于是否显示浏览器界面，有头模式适用于开发和调试阶段，无头模式适用于实际的爬取任务。

无头模式的问题：

1、无头模式下缺少浏览器信息，或默认填充的浏览器信息带有爬虫痕迹，会被识别为机器人而导致爬虫执行失败。

2、页面动态加载时，有时会根据页面size来布局控件，如果size太小会出现控件加载失败情况。

所以经常爬到二十多页的时候就突然报错“找不到元素无法点击”这种的错误。又或者是爬到三十多页又告诉我找不到元素，某某列表为空，就很烦。