- 1【算法专题--双指针算法】leecode-202. 快乐数(medium)、leecode-11. 盛最多水的容器(medium)
- 2jieba分词器（应用及字典的补充）及文档高频词提取实战_jieba分词中的应用
- 3最详细解读LPWAN重要成员Wi-SUN
- 4NLP（五十五）tiktoken的使用
- 5服务器的选择&&在服务器上跑通3D Gaussian(新手向)
- 6三种梯度下降法对比（Batch gradient descent、Mini-batch gradient descent 和 stochastic gradient descent）_梯度下降的三种形式对比
- 7PyTorch中torch、torchtext、torchvision、torchaudio与Python版本兼容性_torch2.0.0对应的torchvision
- 8深度学习与自然语言处理的应用在文本摘要领域
- 9软件设计方法——领域驱动设计（DDD）
- 10计算机类期刊投稿心得_计算机系统应用期刊投稿经验
Python网络爬虫实战：爬取携程网酒店评价信息_携程酒店评价爬虫
赞
踩
这个爬虫是在一个小老弟的委托之下写的。
他需要爬取携程网上的酒店的评价数据，来做一些分词和统计方面的分析，然后来找我帮忙。
爬这个网站的时候也遇到了一些有意思的小麻烦，正好整理一下拿出来跟大家分享一下。
这次爬取过程稍微曲折，各种碰壁，最终成功的过程，还是有点意思。
所以本文我会按照自己当时爬取的思路来讲述，希望能给大家一些思路上的启发。
分析部分略长，如果赶时间可以直接拉到最下面，自取代码。
如果是想学习爬虫的话，最好还是跟着文章的思路走一遍吧。
一、明确需求
这位小老弟给我的需求是：
- 爬取携程网（https://hotels.ctrip.com/）酒店的用户评价数据，具体来讲就是要爬取【上海静安香格里拉大酒店】的评价中，出行类型为【家庭亲子】的用户的评价数据。
- 评价数据包括：昵称，房型，入住日期，评价日期，评分，评价内容。
要求很简单不是嘛，数据量也不是很大（我看了一下，也才 910 条评价，后来爬取完成之后发现其实只有 750 条左右），根本不够看的。于是，我自作主张，返了个场，在他需求的基础上添加了几条：
- 酒店不只爬一家了，要爬就爬取【北京市】的所有【四星级以上】的酒店。
- 评价数据也不止爬【家庭亲子】类型了，要爬就爬所有的评价数据。
二、分析目标网站
这里我发现新手在这里一般都有一个共有的误区，就是他们觉得爬虫都是 “通用” 的，一个网站的爬虫拿过来，网址改一下，再随便撺吧撺吧就可以爬另一个网站了。
实际上，每一个网站的爬取都是需要单独进行分析的，你需要找到目标数据是在网页上的什么位置，是通过静态还是动态的方式加载进去的，网站是否有难搞的反爬虫措施，等等，从而来制定自己爬虫的爬取策略。
一般情况下，除非两个网站是极其相似的，或者根本就是用同一个网页模板开发的，这样的话可以套用同一个爬虫来爬，否则，需要针对每个网站的特点去写对应的爬虫。
1. 酒店列表爬取
好了，话不多讲，我们先来分析一下目标网站。
首先打开携程网站，目的地选择【北京】，星级选择【四星级】和【五星级】，点击搜索。
此时网址是：https://hotels.ctrip.com/hotel/beijing1#ctm_ref=hod_hp_sb_lst
可以看到网址中只包含了 【北京】 这个信息，什么四星级五星级的筛选条件，并没有体现在 URL 中。但是从结果来看，它又是确实完成了筛选，所以筛选条件的这些参数肯定是包含在请求的某一个位置的。
继续向下看，翻到页尾，发现网站是用这种方式来实现【翻页】功能的。点击【下一页】，跳转到了第 2 页。
回头看一下 URL，居然没有一丝变化，还是：https://hotels.ctrip.com/hotel/beijing1#ctm_ref=hod_hp_sb_lst
到现在基本可以确定一件事儿了，网页中的酒店信息是通过【动态】方式加载进来的。
好，我们去抓包看一下，按 F12 召唤出【开发者工具】，切换到【Network】选项卡，然后刷新一下页面。
天哪，瞧我发现了什么！！！
在浏览器加载页面时，我抓到了一个叫【AjaxHotelList.aspx】的网络请求，而它的返回结果，恰恰就是我们页面中展示的酒店列表的信息。
果然，携程网的酒店数据，是通过 Ajax 请求动态地加载的。如果没猜错的话，刚才没找到的【四星级、五星级】筛选条件参数，以及页码的参数，应该就藏在这个 Ajax 请求的参数中吧。
如图，切换到 Headers 选项，拉到最底下（Form Data 里的参数有点多，代表了各种各样的筛选条件，不过我们不关心那些），看到了 star 和 page 两个参数。
果然如我所料！
不过不能高兴太早，为了防止网站有什么比较坑爹的反爬机制，最好先写段代码验证一下，看能否按照预期爬到数据。
这里我网络请求用的是 requests 库，数据解析用的是 json 库。
照着浏览器中开发者工具里的 Ajax 请求，把里面的 url，headers，以及 form data 搬过来填这里，发起请求，打印返回结果。
（无关的参数实在太多了，这里简化了一下，只保留了关键的三个参数，cityId，star，和 page）
-
import requests
-
import json
-
-
def fetchHotel(city, star, page):
-
-
url =
"https://hotels.ctrip.com/Domestic/Tool/AjaxHotelList.aspx"
-
headers = {
-
'Content-type':
'application/x-www-form-urlencoded; charset=UTF-8',
-
'Origin':
'https://hotels.ctrip.com',
-
'Referer':
'https://hotels.ctrip.com/hotel/beijing1',
-
'accept':
'*/*',
-
'user-agent':
'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/77.0.3865.120 Safari/537.36',
-
}
-
-
formData = {
-
'cityId': city,
-
'star': star,
-
'page': page,
-
}
-
-
# 发起网络请求
-
r = requests.post(url, data=formData,headers=headers)
-
r.raise_for_status()
-
r.encoding = r.apparent_encoding
-
-
# 打印 r.text 来看看是否获取到了酒店数据
-
print(r.text)
-
-
fetchHotel(
'1',
'4,5',
1)
- 1
运行一下，确实出来结果了（虽然输出一堆 “乱七八糟” 的东西，但是从中文字里还是能够看出来，数据取到了）
OK，这条路走通了，不过既然都写到这儿了，顺手把 json 给解析一下，把数据提取了吧。（免得有的小伙伴不相信）
这里我们提取 酒店名称，酒店ID 打印出来看看。
-
import requests
-
import json
-
-
def fetchHotel(city, star, page):
-
-
url =
"https://hotels.ctrip.com/Domestic/Tool/AjaxHotelList.aspx"
-
headers = {
-
'Content-type':
'application/x-www-form-urlencoded; charset=UTF-8',
-
'Origin':
'https://hotels.ctrip.com',
-
'Referer':
'https://hotels.ctrip.com/hotel/beijing1',
-
'accept':
'*/*',
-
'user-agent':
'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/77.0.3865.120 Safari/537.36',
-
}
-
-
formData = {
-
'cityId': city,
-
'star': star,
-
'page': page,
-
}
-
-
# 发起网络请求
-
r = requests.post(url, data=formData,headers=headers)
-
r.raise_for_status()
-
r.encoding = r.apparent_encoding
-
-
# 打印 r.text 来看看是否获取到了酒店数据
-
#print(r.text)
-
-
# 解析 json 文件，提取酒店数据
-
json_data = json.loads(r.text)[
'hotelPositionJSON']
-
-
hotelList = []
-
for item
in json_data:
-
hotelId = item[
'id']
-
hotelList.append(hotelId)
-
print(item[
'name'], hotelId)
-
-
return hotelList
-
-
fetchHotel(
'1',
'4,5',
1)
- 1
运行代码，你看！没错吧，是我们要的酒店列表。
到这里，酒店列表爬取工作，基本就跑通了。
2. 酒店评论爬取
接下来该研究研究酒店评论该怎么爬取吧。
随便打开一个酒店，进入详情页之后，找到了【酒店点评】部分。
在这里，我们可以找到需要的评论的数据，用户昵称，评分，出游类型，入住时间，评价时间，房型，评价内容等等。
继续往下翻，评论页数同样的方式翻页，而且翻页时候 URL 不变，不用说，又是 Ajax 动态加载咯。
直接 F12 召唤 开发者工具，流程很熟悉了，就讲快一点啦。于是我就抓到了评价数据的包了。
（其实很好找的啦，AjaxHotelCommentList，懂点英语的都能猜到是这个了）
不过它返回的内容格式不是 json 了，而是 html，而且没有排版，格式有点乱。
这个不要紧，去随便找一个在线代码格式化网站（http://tool.oschina.net/codeformat/html），排个版就好了。
解析 json 文件可以用 json 库，解析 HTML 文件用什么呢？我一般用 BeautifulSoup 库，贼拉好用。
这里先不急解析，先写代码验证一下，看看有没有什么坑爹的反爬机制。
同样的方法，讲 Ajax 请求中的 Url，headers 还有 formdata 里的参数都扣过来，跑一下。
-
import requests
-
-
def fetchCmts(hotel, page):
-
-
url =
"https://hotels.ctrip.com/Domestic/tool/AjaxHotelCommentList.aspx?MasterHotelID=469055&hotel=469055&NewOpenCount=0&AutoExpiredCount=0&RecordCount=5420&OpenDate=2013-12-01&card=-1&property=-1&userType=-1&productcode=&keyword=&roomName=&orderBy=2&viewVersion=c&contyped=0&eleven=12488c2f039b057861112f7bc2f1322271c415a3618cba855bcc85b09795189e&callback=CASOmTvWnCuMJeETo&_=1572277191008"
-
headers = {
-
'Content-type':
'application/x-www-form-urlencoded; charset=UTF-8',
-
'referer':
'https://hotels.ctrip.com/hotel/469055.html?isFull=F&masterhotelid=469055&hcityid=2',
-
'accept':
'*/*',
-
'user-agent':
'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/77.0.3865.120 Safari/537.36',
-
}
-
formData = {
-
'hotel': str(hotel),
-
'currentPage': str(page),
-
'eleven':
'12488c2f039b057861112f7bc2f1322271c415a3618cba855bcc85b09795189e',
-
'callback':
'CASOmTvWnCuMJeETo',
-
'_':
'1572277191008',
-
}
-
-
r = requests.post(url, headers=headers)
-
r.raise_for_status()
-
r.encoding =
"utf-8"
-
print(r.text)
-
-
fetchCmts(
'469055',
1)
- 1
运行代码，果然，可以获取到数据。
不过，这个可不能高兴的太早，为什么呢？
你看 Form Data 的参数中，有三个参数 eleven，callback 和 _ ，这三个的值有点奇怪，一长串看不懂的数字和字母，而且每次的值都不一样。
'_' 的值，1572277191008，这个有点熟悉，好像是时间戳，找在线工具解析一下，没错，果然是。
内心咯噔一下，坏了！
根据经验来讲，参数中带时间戳的，请求一般都是有时效性的。什么意思呢？就是这类请求的参数都是根据一定的规则动态生成的，而且一般几分钟之内就会失效。（再次运行上面的代码，果然啥也获取不到了，失效了）。
也就是说，如果我想通过 Ajax 请求去获取数据的话，我必须搞清楚这三个参数的生成规则。
而这些参数又是经过 JS 加密的，搞这个又涉及到了 JS 逆向的东西。。。
我其实去网上查过携程网酒店爬虫，想看看别人是怎么绕过这个反爬机制的。
结果搜出来的好几个结果，都是用 Selenium webdriver 爬的。那个是什么原理呢。
就是我们正常的思路，是用爬虫直接去访问网站获取数据，爬虫伪装不好的话很容易被发现；
而它们这个，相当于是爬虫操作一个真的浏览器去访问网站，对方网站看到的是真正的浏览器在访问，它怎么也想不到操作浏览器的不是人，而是一只爬虫。所以这个方法几乎可以绕过所有的反爬机制。
不过！！！！
一个爬虫玩家的尊严，不允许我使用这种低效率又无脑的方式（误，手动狗头保命）。
于是我决定硬刚 Ajax 请求！！
不过 JS 逆向哪有这么容易的，一时半会儿也搞不定（记得我第一次做 JS 逆向时，整整调试了一个礼拜的 JS 代码才搞出来）,而那边小老弟要的又比较急......
正在我一筹莫展之际，看到了一张帖子，有个老哥的回答让我茅塞顿开。
对呀，网页端的不行，那就模拟手机端的来试试。
网址由 https://hotels.ctrip.com/hotel 变成了 https://m.ctrip.com/webapp/hotel 。
手机版的评论不是点页码翻页的，是划到页面底部时候自动加载下一页内容的，然后我们在 开发者工具中 成功抓到了评论数据的请求包。
再看一下它的参数列表，嗯，还好，没有奇奇怪怪的动态加密的参数了。
这次怎么样呢？写段代码验证一下吧。
-
import requests
-
-
def fetchCmts(hotel, page):
-
url =
"https://m.ctrip.com/restapi/soa2/16765/gethotelcomment?&_fxpcqlniredt=09031074110034723384"
-
headers = {
-
'Content-type':
'application/x-www-form-urlencoded; charset=UTF-8',
-
'Origin':
'https://m.ctrip.com',
-
'accept':
'*/*',
-
'user-agent':
'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/77.0.3865.120 Safari/537.36',
-
}
-
-
formData = {
-
'groupTypeBitMap':
'2',
-
'hotelId': str(hotel),
-
'pageIndex': str(page),
-
'pageSize':
'10',
-
'travelType':
'-1',
# -1 表示全部，家庭亲子为 30
-
}
-
-
r = requests.post(url, data=formData, headers=headers)
# formData,
-
r.raise_for_status()
-
r.encoding =
"utf-8"
-
-
return r.text
-
-
fetchCmts(
'6410223',
1)
- 1
运行程序，可以获取到结果，修改酒店编号，修改页码，再运行都没问题。
返回的结果是 json格式的，回头用 json 库解析一下，把关键数据提取出来就可以了。
事情进行到这儿，对目标网站的分析研究也就基本结束了。
酒店列表，评论数据的爬取，流程也基本跑通了，接下来只需要把代码整理一下，爬就完事儿了。
二、爬虫代码编写
前面将网站的爬取思路已经捋清楚了，而且做了些小测试也基本跑通了，接下来就是撸码环节了。
1. 获取酒店列表
我们其实也发现了，爬取评论数据时，只需要酒店ID和页码两个参数就够了，所以爬酒店列表时，我们只需要提取 酒店ID 即可。
-
import requests
-
import json
-
-
def fetchHotel(city, star, page):
-
-
url =
"https://hotels.ctrip.com/Domestic/Tool/AjaxHotelList.aspx"
-
headers = {
-
'Content-type':
'application/x-www-form-urlencoded; charset=UTF-8',
-
'Origin':
'https://hotels.ctrip.com',
-
'Referer':
'https://hotels.ctrip.com/hotel/beijing1',
-
'accept':
'*/*',
-
'user-agent':
'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/77.0.3865.120 Safari/537.36',
-
}
-
-
formData = {
-
'cityId': city,
-
'star': star,
-
'page': page,
-
}
-
-
# 发起网络请求
-
r = requests.post(url, data=formData,headers=headers)
-
r.raise_for_status()
-
r.encoding = r.apparent_encoding
-
-
# 解析 json 文件，提取酒店数据
-
json_data = json.loads(r.text)[
'hotelPositionJSON']
-
-
hotelList = []
-
for item
in json_data:
-
hotelId = item[
'id']
-
hotelList.append(hotelId)
-
-
return hotelList
- 1
2. 爬取评论数据
-
import requests
-
import json
-
-
def fetchCmts(hotel, page):
-
url =
"https://m.ctrip.com/restapi/soa2/16765/gethotelcomment?&_fxpcqlniredt=09031074110034723384"
-
headers = {
-
'Content-type':
'application/x-www-form-urlencoded; charset=UTF-8',
-
'Referer':
'https://m.ctrip.com/webapp/hotel/hoteldetail/dianping/'+ hotel +
'.html?&fr=detail&atime=20191027&days=1',
-
'Origin':
'https://m.ctrip.com',
-
'accept':
'*/*',
-
'user-agent':
'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/77.0.3865.120 Safari/537.36',
-
}
-
-
formData = {
-
'groupTypeBitMap':
'3',
-
'auth':
"",
-
'cid':
"09031074110034723384",
-
'ctok':
"",
-
'cver':
"1.0",
-
'extension':
'[]',
-
'lang':
"01",
-
'sid':
"8888",
-
'syscode':
"09",
-
'hotelId': str(hotel),
-
'needStatisticInfo':
'0',
-
'order':
'0',
-
'pageIndex': str(page),
-
'pageSize':
'10',
-
'tagId':
'0',
-
'travelType':
'-1',
-
}
-
-
r = requests.post(url, data=formData, headers=headers)
# formData,
-
r.raise_for_status()
-
r.encoding = r.apparent_encoding
-
-
json_data = json.loads(r.text)
-
-
cmtsList = []
-
hotelName = json_data[
'hotelName']
-
-
for item
in json_data[
'othersCommentList']:
-
cmt = []
-
-
userName = item[
'userNickName']
-
travelType = item[
'travelType']
-
baseRoomName = item[
'baseRoomName']
-
checkInDate = item[
'checkInDate']
-
postDate = item[
'postDate']
-
ratingPoint = item[
'ratingPoint']
-
content = item[
'content']
-
-
cmt.append(userName)
-
cmt.append(hotelName)
-
cmt.append(travelType)
-
cmt.append(baseRoomName)
-
cmt.append(checkInDate)
-
cmt.append(postDate)
-
cmt.append(ratingPoint)
-
cmt.append(content)
-
-
cmtsList.append(cmt)
-
-
return cmtsList
- 1
3. 数据保存函数
将数据保存到 csv 文件中。
-
import pandas
as pd
-
import os
-
-
def saveCmts(path, filename, data):
-
# 如果路径不存在，就创建路径
-
if
not os.path.exists(path):
-
os.makedirs(path)
-
-
# 保存文件
-
dataframe = pd.DataFrame(data)
-
dataframe.to_csv(path + filename, encoding=
'utf_8_sig', mode=
'a', index=
False, sep=
',', header=
False )
- 1
4. 爬虫调度器
由于小老弟提的要求是： 上海静安香格里拉大酒店，家庭亲子类型的，评论数据。所以，
在 fetchCmts 中，将 travelType 的值设置为 30，
'travelType': '30', # 30 表示 家庭亲子 类型
- 1
由于看到评论区内容只有九百多条， 每页显示 10 条，所以我们将页码范围设置为 1 - 100 。
-
import time
-
-
if __name__ ==
'__main__':
-
hotel =
'469055'
# 上海静安香格里拉大酒店
-
startPage =
1
-
endPage =
100
-
path =
'Data/'
-
filename =
'cmtTest.csv'
-
-
for p
in range(startPage, endPage+
1):
-
cmts = fetchCmts(hotel, p)
-
saveCmts(path, filename, cmts)
-
time.sleep(
0.5)
- 1
为了保险期间，还加了一个 sleep 函数，每爬一次歇半秒，免得因为爬取太频繁被发现。
几分钟之后，爬取完成，共爬取到 735 条数据。至此，小老弟的忙总算是帮完了。
不过，最开始也说了，我嫌爬的不过瘾，又给自己加了几条需求。
爬取北京市的，所有四星级以上酒店的，所有类型的评价数据。
-
import time
-
-
if __name__ ==
'__main__':
-
city =
'1'
-
star =
'4,5'
-
startPage =
1
-
hotelEndPage =
30
-
cmtsEndPage =
100
-
-
for page
in range(startPage, hotelEndPage +
1):
-
hotelList = fetchHotel(city, star, page)
-
for hotel
in hotelList:
-
for p
in range(startPage, cmtsEndPage +
1):
-
cmts = fetchCmts(hotel, p)
-
saveCmts(
"Data/",
"cmtTest.csv", cmts)
-
time.sleep(
1)
-
-
print(
"爬取完成")
- 1
这里偷了个懒，具体有多少酒店，每个酒店有多少评论我们不去管它了，就爬 30 页的酒店，每个酒店爬 100 页的评论，
大概就是爬 300 个酒店，每个酒店 1000 条左右的评论，差不多可以了，如果想爬更多的话，可以自行去修改页码范围。
后记
这个爬虫给了我一个新的启示，就是，遇到问题，我们要有死磕的觉悟，但是也要有灵活变通的思维。
就像这个爬虫，爬取评论信息时，PC 版网页的请求加了密不好整，那就换个途径，从手机端来获取数据。
时间也省了，事儿也办了，岂不快哉。
2019年12月18日 更新
有读者反馈说，在抓取酒店列表信息的部分，使用文章中的代码无法正常获取数据。
运行代码的结果是这样的，也不报错，就是返回的搜索结果是 0 条。
经调试发现，可能是对方服务器做了调整，需要验证 cookies 信息，只需要在 headers 中添加 cookies 参数即可。
2020年6月20日 更新
距离这个爬虫写好已经比较久了，期间对方网站也做过一些反爬机制的调整导致爬虫失效。
很多读者反馈说，前面更新时说的向 headers 中添加 cookies 的方法也失效了。经过测试，确实是，现在网站需要验证 “登陆账号后” 的 cookie 了，注意是登陆账号后的，未登录的cookie爬出来还是0条。
后续网站是否会有调整我不知道，截至本次更新时，添加登陆账号后的 cookie 后，文中的爬虫仍是有效的。（可能有些读者刚刚接触爬虫，不知道 cookie 加在哪儿，下面贴一段测试代码，大家参考）
-
import requests
-
-
def fetchCmts(hotel, page):
-
url =
"https://m.ctrip.com/restapi/soa2/16765/gethotelcomment?&_fxpcqlniredt=09031074110034723384"
-
headers = {
-
'Content-type':
'application/x-www-form-urlencoded; charset=UTF-8',
-
'Origin':
'https://m.ctrip.com',
-
'accept':
'*/*',
-
'user-agent':
'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/77.0.3865.120 Safari/537.36',
-
'cookie':
'这里放登陆账号后登陆账号后登陆账号后的cookie',
-
}
-
-
formData = {
-
'groupTypeBitMap':
'2',
-
'hotelId': str(hotel),
-
'pageIndex': str(page),
-
'pageSize':
'10',
-
'travelType':
'-1',
# -1 表示全部，家庭亲子为 30
-
}
-
-
r = requests.post(url, data=formData, headers=headers)
# formData,
-
r.raise_for_status()
-
r.encoding =
"utf-8"
-
print(r.text)
-
return r.text
-
-
fetchCmts(
'10246623',
2)
- 1
对方网站反爬机制升级，也是侧面反映了网站收到各种爬虫爬取的困扰很大。
希望大家在爬取数据时，注意控制爬取节奏，时间允许的范围内，尽量放慢爬取速度。
如果文章中有哪里没有讲明白，或者讲解有误的地方，欢迎在评论区批评指正，或者扫描下面的二维码，加我微信，大家一起学习交流，共同进步。
