python：爬虫（爬取评论）内附代码以及豆瓣评分最高的电影链接，很适合找情感语料的码友_python爬取视频评论的代码

代码展示

import re
import urllib.request
from bs4 import BeautifulSoup
findcomment = re.compile(r'<span class="short">(.*)</span>')  # 根据网页的源代码写一个正则表达式,对应评论的文本
def GetTxt(start):
    url = 'https://movie.douban.com/subject/30170448/comments?start=' + \#上面换电影链接
             str(start) + '&limit=20&sort=new_score&status=P'
    head = {  # 模拟浏览器头部信息，向服务器发送消息。Firefox浏览器头部信息如下：
        "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:88.0) Gecko/20100101 Firefox/88.0"
    }
    request = urllib.request.Request(url, headers=head)
    response = urllib.request.urlopen(request)
    html_data = response.read().decode('utf-8')
    commentlist = []
    soup = BeautifulSoup(html_data, 'html.parser')
    comment_div_lits = soup.find_all('div', class_='comment')
    for item in comment_div_lits:
        eachcomment = re.findall(findcomment, str(item))  # 如果不把item转换为str类型findall函数会报错
        print(eachcomment)  # 检查一下每一条爬取的是否正确
        commentlist.append(eachcomment)
    f = open('content.txt', 'a', encoding='utf-8')
    for comment in commentlist:
        if comment != []:  # 爬取过程发现有些是空列表
            f.write(comment[0])
    f.close()
def main():
    for i in range(1, 201, 20):  # 原本想多爬取一些，但是网站只允许看到前200条，之后需要登录
        print(i)
        GetTxt(i)


if __name__ == '__main__':
    main()

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34

电影连接

1. 肖申克的救赎: https://movie.douban.com/subject/1292052/ 霸王别姬:
2. https://movie.douban.com/subject/1291546/ 阿甘正传:
3. https://movie.douban.com/subject/1292720/ 这个杀手不太冷:
4. https://movie.douban.com/subject/1295644/ 泰坦尼克号:
5. https://movie.douban.com/subject/1292722/ 美丽人生:
6. https://movie.douban.com/subject/1292063/ 千与千寻:
7. https://movie.douban.com/subject/1291561/ 辛德勒的名单:
8. https://movie.douban.com/subject/1295124/ 盗梦空间:
9. https://movie.douban.com/subject/3541415/ 忠犬八公的故事:
10. https://movie.douban.com/subject/3011091/ 海上钢琴师:
11. https://movie.douban.com/subject/1292001/ 星际穿越:
12. https://movie.douban.com/subject/1889243/ 楚门的世界:
13. https://movie.douban.com/subject/1292064/ 三傻大闹宝莱坞:
14. https://movie.douban.com/subject/3793023/ 机器人总动员:
15. https://movie.douban.com/subject/2131459/ 放牛班的春天:
16. https://movie.douban.com/subject/1291549/ 大话西游之大圣娶亲:
17. https://movie.douban.com/subject/1292213/ 熔炉:
18. https://movie.douban.com/subject/5912992/ 疯狂动物城:
19. https://movie.douban.com/subject/25662329/ 无间道:
20. https://movie.douban.com/subject/1307914/ 教父:
21. https://movie.douban.com/subject/1291841/ 龙猫:
22. https://movie.douban.com/subject/1291560/ 当幸福来敲门:
23. https://movie.douban.com/subject/1849031/ 怦然心动:
24. https://movie.douban.com/subject/3319755/ 触不可及:
25. https://movie.douban.com/subject/6786002/ 控方证人:
26. https://movie.douban.com/subject/1296141/ 蝙蝠侠：黑暗骑士:
27. https://movie.douban.com/subject/1851857/ 活着:
28. https://movie.douban.com/subject/1292365/ 末代皇帝:
29. https://movie.douban.com/subject/1293172/ 寻梦环游记:
30. https://movie.douban.com/subject/20495023/ 乱世佳人:
31. https://movie.douban.com/subject/1300267/ 何以为家:
32. https://movie.douban.com/subject/30170448/ 指环王3：王者无敌:
33. https://movie.douban.com/subject/1291552/ 摔跤吧！爸爸:
34. https://movie.douban.com/subject/26387939/ 飞屋环游记:
35. https://movie.douban.com/subject/2129039/ 少年派的奇幻漂流:
36. https://movie.douban.com/subject/1929463/ 十二怒汉:
37. https://movie.douban.com/subject/1293182/ 哈利·波特与魔法石:
38. https://movie.douban.com/subject/1295038/ 素媛:
39. https://movie.douban.com/subject/21937452/ 鬼子来了:
40. https://movie.douban.com/subject/1291858/ 哈尔的移动城堡:
41. https://movie.douban.com/subject/1308807/ 天空之城:
42. https://movie.douban.com/subject/1291583/ 大话西游之月光宝盒:
43. https://movie.douban.com/subject/1299398/ 罗马假日:
44. https://movie.douban.com/subject/1293839/ 闻香识女人:
45. https://movie.douban.com/subject/1298624/ 天堂电影院:
46. https://movie.douban.com/subject/1291828/ 我不是药神:
47. https://movie.douban.com/subject/26752088/ 辩护人:
48. https://movie.douban.com/subject/21937445/ 搏击俱乐部:
49. https://movie.douban.com/subject/1292000/ 大闹天宫:
50. https://movie.douban.com/subject/1418019/ 教父2:
51. https://movie.douban.com/subject/1299131/ 狮子王:
52. https://movie.douban.com/subject/1301753/ 猫鼠游戏:
53. https://movie.douban.com/subject/1305487/ 死亡诗社:
54. https://movie.douban.com/subject/1291548/ 指环王2：双塔奇兵:
55. https://movie.douban.com/subject/1291572/ 钢琴家:
56. https://movie.douban.com/subject/1296736/ 窃听风暴:
57. https://movie.douban.com/subject/1900841/ 指环王1：魔戒再现:
58. https://movie.douban.com/subject/1291571/ 黑客帝国:
59. https://movie.douban.com/subject/1291843/ 美丽心灵:
60. https://movie.douban.com/subject/1306029/ 饮食男女:
61. https://movie.douban.com/subject/1291818/ 两杆大烟枪:
62. https://movie.douban.com/subject/1293350/ 让子弹飞:
63. https://movie.douban.com/subject/3742360/ 飞越疯人院:
64. https://movie.douban.com/subject/1292224/ 本杰明·巴顿奇事:
65. https://movie.douban.com/subject/1485260/ 绿皮书:
66. https://movie.douban.com/subject/27060077/ 看不见的客人:
67. https://movie.douban.com/subject/26580232/ 海蒂和爷爷:
68. https://movie.douban.com/subject/25958717/ 西西里的美丽传说:
69. https://movie.douban.com/subject/1292402/ 拯救大兵瑞恩:
70. https://movie.douban.com/subject/1292849/ 小鞋子:
71. https://movie.douban.com/subject/1303021/ 穿条纹睡衣的男孩:
72. https://movie.douban.com/subject/3008247/ 情书:
73. https://movie.douban.com/subject/1292220/ 音乐之声:
74. https://movie.douban.com/subject/1294408/ 海豚湾:
75. https://movie.douban.com/subject/3442220/ 美国往事:
76. https://movie.douban.com/subject/1292262/ 致命魔术:
77. https://movie.douban.com/subject/1780330/ 低俗小说:
78. https://movie.douban.com/subject/1291832/ 沉默的羔羊:
79. https://movie.douban.com/subject/1293544/ 七宗罪:
80. https://movie.douban.com/subject/1292223/ 禁闭岛:
81. https://movie.douban.com/subject/2334904/ 蝴蝶效应:
82. https://movie.douban.com/subject/1292343/ 心灵捕手:
83. https://movie.douban.com/subject/1292656/ 布达佩斯大饭店:
84. https://movie.douban.com/subject/11525673/ 春光乍泄:
85. https://movie.douban.com/subject/1292679/ 被嫌弃的松子的一生:
86. https://movie.douban.com/subject/1787291/ 摩登时代:
87. https://movie.douban.com/subject/1294371/ 阿凡达:
88. https://movie.douban.com/subject/1652587/ 哈利·波特与死亡圣器(下):
89. https://movie.douban.com/subject/3011235/ 剪刀手爱德华:
90. https://movie.douban.com/subject/1292370/ 勇敢的心:
91. https://movie.douban.com/subject/1294639/ 喜剧之王:
92. https://movie.douban.com/subject/1302425/ 致命ID:
93. https://movie.douban.com/subject/1297192/ 加勒比海盗:
94. https://movie.douban.com/subject/1298070/ 天使爱美丽:
95. https://movie.douban.com/subject/1292215/ 杀人回忆:
96. https://movie.douban.com/subject/1300299/ 断背山:
97. https://movie.douban.com/subject/1418834/ 狩猎:
98. https://movie.douban.com/subject/6985810/ 请以你的名字呼唤我:
99. https://movie.douban.com/subject/26799731/ 7号房的礼物:
100. https://movie.douban.com/subject/10777687/ 幽灵公主:
101. https://movie.douban.com/subject/1297359/ 阳光灿烂的日子:
102. https://movie.douban.com/subject/1291875/ 小森林 夏秋篇:
103. https://movie.douban.com/subject/25814705/ 红辣椒:
104. https://movie.douban.com/subject/1865703/ 第六感:
105. https://movie.douban.com/subject/1297630/ 重庆森林:
106. https://movie.douban.com/subject/1291999/ 入殓师:
107. https://movie.douban.com/subject/2149806/ 小森林 冬春篇:
108. https://movie.douban.com/subject/25814707/ 消失的爱人:
109. https://movie.douban.com/subject/21318488/ 爱在黎明破晓前:
110. https://movie.douban.com/subject/1296339/ 唐伯虎点秋香:
111. https://movie.douban.com/subject/1306249/ 一一:
112. https://movie.douban.com/subject/1292434/ 蝙蝠侠：黑暗骑士崛起:
113. https://movie.douban.com/subject/3395373/ 侧耳倾听:
114. https://movie.douban.com/subject/1297052/ 超脱:
115. https://movie.douban.com/subject/5322596/ 菊次郎的夏天:
116. https://movie.douban.com/subject/1293359/ 倩女幽魂:
117. https://movie.douban.com/subject/1297447/ 无人知晓:
118. https://movie.douban.com/subject/1292337/ 玛丽和马克思:
119. https://movie.douban.com/subject/3072124/ 超能陆战队:
120. https://movie.douban.com/subject/11026735/ 甜蜜蜜:
121. https://movie.douban.com/subject/1305164/ 萤火之森:
122. https://movie.douban.com/subject/5989818/ 告白:
123. https://movie.douban.com/subject/4268598/ 借东西的小人阿莉埃蒂:
124. https://movie.douban.com/subject/4202302/ 驯龙高手:
125. https://movie.douban.com/subject/2353023/ 大鱼:
126. https://movie.douban.com/subject/1291545/ 阳光姐妹淘:
127. https://movie.douban.com/subject/4917726/ 射雕英雄传之东成西就:
128. https://movie.douban.com/subject/1316510/ 幸福终点站:
129. https://movie.douban.com/subject/1292274/ 爱在日落黄昏时:
130. https://movie.douban.com/subject/1291990/ 功夫:
131. https://movie.douban.com/subject/1291543/ 完美的世界:
132. https://movie.douban.com/subject/1300992/ 恐怖直播:
133. https://movie.douban.com/subject/21360417/ 人生果实:
134. https://movie.douban.com/subject/26874505/ 神偷奶爸:
135. https://movie.douban.com/subject/3287562/ 怪兽电力公司:
136. https://movie.douban.com/subject/1291579/ 天书奇谭:
137. https://movie.douban.com/subject/1428581/ 玩具总动员3:
138. https://movie.douban.com/subject/1858711/ 哈利·波特与阿兹卡班的囚徒:
139. https://movie.douban.com/subject/1291544/ 傲慢与偏见:
140. https://movie.douban.com/subject/1418200/ 血战钢锯岭:
141. https://movie.douban.com/subject/26325320/ 教父3:
142. https://movie.douban.com/subject/1294240/ 时空恋旅人:
143. https://movie.douban.com/subject/10577869/ 釜山行:
144. https://movie.douban.com/subject/25986180/ 风之谷:
145. https://movie.douban.com/subject/1291585/ 哪吒闹海:
146. https://movie.douban.com/subject/1307315/ 被解救的姜戈:
147. https://movie.douban.com/subject/6307447/ 电锯惊魂:
148. https://movie.douban.com/subject/1417598/ 上帝之城:
149. https://movie.douban.com/subject/1292208/ 喜宴:
150. https://movie.douban.com/subject/1303037/ 七武士:
151. https://movie.douban.com/subject/1295399/ 哈利·波特与密室:
152. https://movie.douban.com/subject/1296996/ 英雄本色:
153. https://movie.douban.com/subject/1297574/ 我是山姆:
154. https://movie.douban.com/subject/1306861/ 谍影重重3:
155. https://movie.douban.com/subject/1578507/ 头号玩家:
156. https://movie.douban.com/subject/4920389/ 岁月神偷:
157. https://movie.douban.com/subject/3792799/ 一个叫欧维的男人决定去死:
158. https://movie.douban.com/subject/26628357/ 三块广告牌:
159. https://movie.douban.com/subject/26611804/ 纵横四海:
160. https://movie.douban.com/subject/1295409/ 疯狂原始人:
161. https://movie.douban.com/subject/1907966/ 达拉斯买家俱乐部:
162. https://movie.douban.com/subject/1793929/ 心迷宫:
163. https://movie.douban.com/subject/25917973/ 记忆碎片:
164. https://movie.douban.com/subject/1304447/ 卢旺达饭店:
165. https://movie.douban.com/subject/1291822/ 花样年华:
166. https://movie.douban.com/subject/1291557/ 你的名字。:
167. https://movie.douban.com/subject/26683290/ 未麻的部屋:
168. https://movie.douban.com/subject/1395091/ 荒蛮故事:
169. https://movie.douban.com/subject/24750126/ 萤火虫之墓:
170. https://movie.douban.com/subject/1293318/ 黑客帝国3：矩阵革命:
171. https://movie.douban.com/subject/1302467/ 贫民窟的百万富翁:
172. https://movie.douban.com/subject/2209573/ 爆裂鼓手:
173. https://movie.douban.com/subject/25773932/ 东邪西毒:
174. https://movie.douban.com/subject/1292328/ 模仿游戏:
175. https://movie.douban.com/subject/10463953/ 真爱至上:
176. https://movie.douban.com/subject/1292401/ 忠犬八公物语:
177. https://movie.douban.com/subject/1959195/ 新世界:
178. https://movie.douban.com/subject/10437779/ 黑天鹅:
179. https://movie.douban.com/subject/1978709/ 头脑特工队:
180. https://movie.douban.com/subject/10533913/ 海街日记:
181. https://movie.douban.com/subject/25895901/ 你看起来好像很好吃:
182. https://movie.douban.com/subject/4848115/ 无敌破坏王:
183. https://movie.douban.com/subject/6534248/ 雨人:
184. https://movie.douban.com/subject/1291870/ 冰川时代:
185. https://movie.douban.com/subject/1291578/ 惊魂记:
186. https://movie.douban.com/subject/1293181/ 恋恋笔记本:
187. https://movie.douban.com/subject/1309163/ 小偷家族:
188. https://movie.douban.com/subject/27622447/ 恐怖游轮:
189. https://movie.douban.com/subject/3011051/ 绿里奇迹:
190. https://movie.douban.com/subject/1300374/ 海边的曼彻斯特:
191. https://movie.douban.com/subject/25980443/ 疯狂的石头:
192. https://movie.douban.com/subject/1862151/ 二十二:
193. https://movie.douban.com/subject/26430107/ 房间:
194. https://movie.douban.com/subject/25724855/ 奇迹男孩:
195. https://movie.douban.com/subject/26787574/ 爱在午夜降临前:
196. https://movie.douban.com/subject/10808442/ 魔女宅急便:
197. https://movie.douban.com/subject/1307811/ 雨中曲:
198. https://movie.douban.com/subject/1293460/ 虎口脱险:
199. https://movie.douban.com/subject/1296909/ 人工智能:
200. https://movie.douban.com/subject/1302827/ 罗生门:
201. https://movie.douban.com/subject/1291879/ 终结者2：审判日:
202. https://movie.douban.com/subject/1291844/ 初恋这件小事:
203. https://movie.douban.com/subject/4739952/ 可可西里:
204. https://movie.douban.com/subject/1308857/ 2001太空漫游:
205. https://movie.douban.com/subject/1292226/ 城市之光:
206. https://movie.douban.com/subject/1293908/ 魂断蓝桥:
207. https://movie.douban.com/subject/1293964/ 哈利·波特与火焰杯:
208. https://movie.douban.com/subject/1309055/ 色，戒:
209. https://movie.douban.com/subject/1828115/ 海洋:
210. https://movie.douban.com/subject/3443389/ 牯岭街少年杀人事件:
211. https://movie.douban.com/subject/1292329/ 九品芝麻官:
212. https://movie.douban.com/subject/1297518/ 燃情岁月:
213. https://movie.douban.com/subject/1295865/ 新龙门客栈:
214. https://movie.douban.com/subject/1292287/ 源代码:
215. https://movie.douban.com/subject/3075287/ 青蛇:
216. https://movie.douban.com/subject/1303394/ 穿越时空的少女:
217. https://movie.douban.com/subject/1937946/ 遗愿清单:
218. https://movie.douban.com/subject/1867345/ 无耻混蛋:
219. https://movie.douban.com/subject/1438652/ 大佛普拉斯:
220. https://movie.douban.com/subject/27059130/ 阿飞正传:
221. https://movie.douban.com/subject/1305690/ 血钻:
222. https://movie.douban.com/subject/1428175/ 完美陌生人:
223. https://movie.douban.com/subject/26614893/ 谍影重重2:
224. https://movie.douban.com/subject/1308767/ 疯狂的麦克斯4：狂暴之路:
225. https://movie.douban.com/subject/3592854/ 香水:
226. https://movie.douban.com/subject/1760622/ 地球上的星星:
227. https://movie.douban.com/subject/2363506/ 步履不停:
228. https://movie.douban.com/subject/2222996/ 彗星来的那一夜:
229. https://movie.douban.com/subject/25807345/ 战争之王:
230. https://movie.douban.com/subject/1419936/ 谍影重重:
231. https://movie.douban.com/subject/1304102/ 波西米亚狂想曲:
232. https://movie.douban.com/subject/5300054/ 朗读者:
233. https://movie.douban.com/subject/2213597/ 猜火车:
234. https://movie.douban.com/subject/1292528/ 浪潮:
235. https://movie.douban.com/subject/2297265/ 东京物语:
236. https://movie.douban.com/subject/1291568/ 再次出发之纽约遇见你:
237. https://movie.douban.com/subject/6874403/ 聚焦:
238. https://movie.douban.com/subject/25954475/ 驴得水:
239. https://movie.douban.com/subject/25921812/ 小萝莉的猴神大叔:
240. https://movie.douban.com/subject/26393561/ 追随:
241. https://movie.douban.com/subject/1397546/ 千钧一发:
242. https://movie.douban.com/subject/1300117/ 我爱你:
243. https://movie.douban.com/subject/5908478/ 黑客帝国2：重装上阵:
244. https://movie.douban.com/subject/1304141/ 黑鹰坠落:
245. https://movie.douban.com/subject/1291824/ 一次别离:
246. https://movie.douban.com/subject/5964718/ 发条橙:
247. https://movie.douban.com/subject/1292233/ 网络谜踪:
248. https://movie.douban.com/subject/27615441/ 寄生虫:
249. https://movie.douban.com/subject/27010768/ 四个春天:
250. https://movie.douban.com/subject/27191492/