Python 爬虫实战——爬取视频（一）_python爬取视频

---

文章目录

• 爬取某Y的视频链接和标题
• 前言
• 一、基本思路
• 二、程序解析阶段
• 三、程序处理阶段
• 总结

---

前言

这篇内容就简单给大家写个如何从网页上爬取某B主 主页 页面上所有的视频链接和视频标题。

这篇是基础，下篇会根据这篇的结果做一个批量爬取视频的教程（先提前给大家展示个效果图）。

---

一、基本思路

首先，电脑浏览器（最好用火狐或谷歌浏览器）打开某B主的某音主页，复制其网页地址栏的地址。
其次，将复制的网页输入到下面的程序的这个代码里面。

最后，运行程序，需要等待一两分钟，程序会自动列出博主网页上视频的链接。
—

二、程序解析阶段

代码如下：

import re
from selenium import webdriver
from selenium.webdriver.common.by import By
import time

# 创建一个对象实例，用来表示用哪个浏览器爬取
driver = webdriver.Firefox()
# 某个视频的地址
driver.get()
# 等待一下，等打开网页
time.sleep(8)

# 页面打开会弹出一个登录窗口
close = driver.find_element(by=By.CSS_SELECTOR, value='.dy-account-close')
# 等登录窗口弹出来
time.sleep(5)
# 关闭弹出的登录窗口
close.click()
time.sleep(2)


1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21

这里我用的是火狐浏览器所以是_Firefox()_，建议使用火狐浏览器。
当程序执行的时候会自动弹出网页窗口，这个时候不要动它，让程序泡，它自动做完上面代码写的操作。
注释写的很清楚，这里我就不多做解释了。

---

三、程序处理阶段

代码如下：

url_list = []
# 获视频地址所在的位置
right_url_list = driver.find_elements(by=By.CSS_SELECTOR, value='a.hY8lWHgA.SF0P5HVG.h0CXDpkg')
for url in right_url_list:

    # 获取此位置下的视频链接
    aaa = url.get_attribute('href')
    url_list.append(aaa)
print(url_list)

# 获取视频的标题位置
title_list = []
video_name_list = driver.find_elements(by=By.CSS_SELECTOR, value='.Ja95nb2Z')
for video_name in video_name_list:
		# 获取视频标题元素的内容
    video_name = str(video_name.text)
    
    # 正则表达式处理。只保留中文汉字
    video_ = re.findall(r'[\u4e00-\u9fff]+', video_name)
    
    # 把每个标题匹配到的汉字分别组装起来
    title_list.append(''.join(video_))
print(title_list)


1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25

这里面主要涉及到了两个重要的知识点。
一个是 driver.find_elements（） 方法；二是正则表达式的相关的东西。大家一定要去百度看一下。要知其然，更要知其所以然。

---

总结

此程序是在Python 3.11.6 版本的环境，注意哦要不然程序可能运行不起来。
很简单，代码不多，但是大家要合理合fa运用爬虫技术哦

以上就是今天的全部内容分享，觉得有用的话欢迎点赞收藏哦！

Python经验分享

学好 Python 不论是用于就业还是做副业赚钱都不错，而且学好Python还能契合未来发展趋势——人工智能、机器学习、深度学习等。
小编是一名Python开发工程师，自己整理了一套最新的Python系统学习教程，包括从基础的python脚本到web开发、爬虫、数据分析、数据可视化、机器学习等。如果你也喜欢编程，想通过学习Python转行、做副业或者提升工作效率，这份【最新全套Python学习资料】 一定对你有用！

小编为对Python感兴趣的小伙伴准备了以下籽料 ！

对于0基础小白入门：

如果你是零基础小白，想快速入门Python是可以考虑培训的！

• 学习时间相对较短，学习内容更全面更集中
• 可以找到适合自己的学习方案

包括：Python激活码+安装包、Python web开发，Python爬虫，Python数据分析，人工智能、机器学习、Python量化交易等学习教程。带你从零基础系统性的学好Python！

一、Python所有方向的学习路线

Python所有方向路线就是把Python常用的技术点做整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照上面的知识点去找对应的学习资源，保证自己学得较为全面。

二、学习软件

工欲善其事必先利其器。学习Python常用的开发软件都在这里了，给大家节省了很多时间。

三、入门学习视频

我们在看视频学习的时候，不能光动眼动脑不动手，比较科学的学习方法是在理解之后运用它们，这时候练手项目就很适合了。

四、实战案例

光学理论是没用的，要学会跟着一起敲，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。

五、面试资料

我们学习Python必然是为了找到高薪的工作，下面这些面试题是来自阿里、腾讯、字节等一线互联网大厂最新的面试资料，并且有阿里大佬给出了权威的解答，刷完这一套面试资料相信大家都能找到满意的工作。

最新全套【Python入门到进阶资料 & 实战源码 &安装工具】（安全链接，放心点击）

我已经上传至CSDN官方，如果需要可以扫描下方官方二维码免费获取【保证100%免费】

*今天的分享就到这里，喜欢且对你有所帮助的话，记得点赞关注哦~下回见 ！