Python爬虫入门教程！手把手教会你爬取网页数据_python爬取网页数据_快速下载网页数据

现在能在网上找到很多很多的学习资源，有免费的也有收费的，当我拿到1套比较全的学习资源之前，我并没着急去看第1节，我而是去审视这套资源是否值得学习，有时候也会去问一些学长的意见，如果可以之后，我会对这套学习资源做1个学习计划，我的学习计划主要包括规划图和学习进度表。

分享给大家这份我薅到的免费视频资料，质量还不错，大家可以跟着学习

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化学习资料的朋友，可以戳这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

//*[@id="anony-nav"]/div[1]/ul/li[1]/a 

1
2

在实际的使用过程中，到底使用 BeautifulSoup 还是 XPath，完全取决于个人喜好，哪个用起来更加熟练方便，就使用哪个。

爬虫实战：爬取豆瓣海报

我们可以从豆瓣影人页，进入都影人对应的影人图片页面，比如以刘涛为例子，她的影人图片页面地址为

• [https://movie.douban.com/celebrity/1011562/photos/]
  
  下面我们就来分析下这个网页

目标网站页面分析

注意：网络上的网站页面构成总是会变化的，所以这里你需要学会分析的方法，以此类推到其他网站。正所谓授人以鱼不如授人以渔，就是这个原因。

Chrome 开发者工具

Chrome 开发者工具(按 F12 打开)，是分析网页的绝佳利器，一定要好好使用。

我们在任意一张图片上右击鼠标，选择“检查”，可以看到同样打开了“开发者工具”，而且自动定位到了该图片所在的位置

可以清晰的看到，每张图片都是保存在 li 标签中的，图片的地址保存在 li 标签中的 img 中。

知道了这些规律后，我们就可以通过 BeautifulSoup 或者 XPath 来解析 HTML 页面，从而获取其中的图片地址。

代码编写

我们只需要短短的几行代码，就能完成图片 url 的提取

import requests 
from bs4 import BeautifulSoup  
 
url = 'https://movie.douban.com/celebrity/1011562/photos/' 
res = requests.get(url).text 
content = BeautifulSoup(res, "html.parser") 
data = content.find_all('div', attrs={'class': 'cover'}) 
picture_list = [] 
for d in data: 
    plist = d.find('img')['src'] 
    picture_list.append(plist) 
print(picture_list) 
>>> 
['https://img1.doubanio.com/view/photo/m/public/p2564834267.jpg', 'https://img1.doubanio.com/view/photo/m/public/p860687617.jpg', 'https://img1.doubanio.com/view/photo/m/public/p2174001857.jpg', 'https://img1.doubanio.com/view/photo/m/public/p1563789129.jpg', 'https://img3.doubanio.com/view/photo/m/public/p2363429946.jpg', 'https://img1.doubanio.com/view/photo/m/public/p2382591759.jpg', 'https://img3.doubanio.com/view/photo/m/public/p2363269182.jpg', 'https://img1.doubanio.com/view/photo/m/public/p1959495269.jpg', 'https://img3.doubanio.com/view/photo/m/public/p2356638830.jpg', 'https://img3.doubanio.com/view/photo/m/public/p1959495471.jpg', 'https://img3.doubanio.com/view/photo/m/public/p1834379290.jpg', 'https://img3.doubanio.com/view/photo/m/public/p2325385303.jpg', 'https://img3.doubanio.com/view/photo/m/public/p2361707270.jpg', 'https://img3.doubanio.com/view/photo/m/public/p2325385321.jpg', 'https://img3.doubanio.com/view/photo/m/public/p2196488184.jpg', 'https://img1.doubanio.com/view/photo/m/public/p2186019528.jpg', 'https://img1.doubanio.com/view/photo/m/public/p2363270277.jpg', 'https://img3.doubanio.com/view/photo/m/public/p2325240501.jpg', 'https://img1.doubanio.com/view/photo/m/public/p2258657168.jpg', 'https://img1.doubanio.com/view/photo/m/public/p2319710627.jpg', 'https://img3.doubanio.com/view/photo/m/public/p2319710591.jpg', 'https://img3.doubanio.com/view/photo/m/public/p2311434791.jpg', 'https://img1.doubanio.com/view/photo/m/public/p2363270708.jpg', 'https://img3.doubanio.com/view/photo/m/public/p2258657185.jpg', 'https://img3.doubanio.com/view/photo/m/public/p2166193915.jpg', 'https://img3.doubanio.com/view/photo/m/public/p2363265595.jpg', 'https://img3.doubanio.com/view/photo/m/public/p2312085755.jpg', 'https://img3.doubanio.com/view/photo/m/public/p2311434790.jpg', 'https://img3.doubanio.com/view/photo/m/public/p2276569205.jpg', 'https://img1.doubanio.com/view/photo/m/public/p2165332728.jpg'] 

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15

可以看到，是非常干净的列表，里面存储了海报地址。

但是这里也只是一页海报的数据，我们观察页面发现它有好多分页，如何处理分页呢。

分页处理

我们点击第二页，看看浏览器 url 的变化

• https://movie.douban.com/celebrity/1011562/photos/?type=C&start=30&sortby=like&size=a&subtype=a

发现浏览器 url 增加了几个参数

再点击第三页，继续观察 url

• https://movie.douban.com/celebrity/1011562/photos/?type=C&start=60&sortby=like&size=a&subtype=a

通过观察可知，这里的参数，只有 start 是变化的，即为变量，其余参数都可以按照常理来处理

同时还可以知道，这个 start 参数应该是起到了类似于 page 的作用，start = 30 是第二页，start = 60 是第三页，依次类推，最后一页是 start = 420。

于是我们处理分页的代码也呼之欲出了

首先将上面处理 HTML 页面的代码封装成函数

def get_poster_url(res): 
    content = BeautifulSoup(res, "html.parser") 
    data = content.find_all('div', attrs={'class': 'cover'}) 
    picture_list = [] 
    for d in data: 
        plist = d.find('img')['src'] 
        picture_list.append(plist) 
    return picture_list 

1
2
3
4
5
6
7
8
9

然后我们在另一个函数中处理分页和调用上面的函数

def fire(): 
    page = 0 
    for i in range(0, 450, 30): 
        print("开始爬取第 %s 页" % page) 
        url = 'https://movie.douban.com/celebrity/1011562/photos/?type=C&start={}&sortby=like&size=a&subtype=a'.format(i) 
        res = requests.get(url).text 
        data = get_poster_url(res) 
        page += 1 

1
2
3
4
5
6
7
8
9

此时，我们所有的海报数据都保存在了 data 变量中，现在就需要一个下载器来保存海报了

def download_picture(pic_l): 
    if not os.path.exists(r'picture'): 
        os.mkdir(r'picture') 
    for i in pic_l: 
        pic = requests.get(i) 
        p_name = i.split('/')[7] 
        with open('picture\\' + p_name, 'wb') as f: 
            f.write(pic.content) 

1
2
3
4
5
6
7
8
9

再增加下载器到 fire 函数，此时为了不是请求过于频繁而影响豆瓣网的正常访问，设置 sleep time 为1秒

def fire(): 
    page = 0 
    for i in range(0, 450, 30): 
        print("开始爬取第 %s 页" % page) 
        url = 'https://movie.douban.com/celebrity/1011562/photos/?type=C&start={}&sortby=like&size=a&subtype=a'.format(i) 
        res = requests.get(url).text 
        data = get_poster_url(res) 
        download_picture(data) 
        page += 1 
        time.sleep(1) 

1
2
3
4
5
6
7
8
9
10
11

下面就执行 fire 函数，等待程序运行完成后，当前目录下会生成一个 picture 的文件夹，里面保存了我们下载的所有海报

核心代码讲解

下面再来看下完整的代码

import requests 
from bs4 import BeautifulSoup 
import time 
import osdef fire(): 
    page = 0 
    for i in range(0, 450, 30): 
        print("开始爬取第 %s 页" % page) 
        url = 'https://movie.douban.com/celebrity/1011562/photos/?type=C&start={}&sortby=like&size=a&subtype=a'.format(i) 
        res = requests.get(url).text 
        data = get_poster_url(res) 
        download_picture(data) 
        page += 1 
        time.sleep(1)def get_poster_url(res): 
    content = BeautifulSoup(res, "html.parser") 
    data = content.find_all('div', attrs={'class': 'cover'}) 
    picture_list = [] 
    for d in data: 
        plist = d.find('img')['src'] 
        picture_list.append(plist) 
    return picture_listdef download_picture(pic_l): 
    if not os.path.exists(r'picture'): 
        os.mkdir(r'picture') 
    for i in pic_l: 
        pic = requests.get(i) 
        p_name = i.split('/')[7] 
        with open('picture\\' + p_name, 'wb') as f: 
            f.write(pic.content)if __name__ == '__main__': 
    fire() 

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29

fire 函数

这是一个主执行函数，使用 range 函数来处理分页。

• range 函数可以快速的创建整数列表，在 for 循环时及其好用。函数中的0代表从0开始计数，450代表一直迭代到450，不包含450，30代表步长，即每次递增的数字间隔。range(0, 450, 30)，依次会输出：0，30，60，90 …
• format 函数，是一种字符串格式化方式
• time.sleep(1) 即为暂停1秒钟

get_poster_url 函数

这个就是解析 HTML 的函数，使用的是 BeautifulSoup

• 通过 find_all 方法查找所有 class 为 “cover” 的 div 元素，返回的是一个列表
• 使用 for 循环，循环上一步拿到的列表，取出 src 的内容，append 到列表中
• append 是列表的一个方法，可以在列表后面追加元素

download_picture 函数

简易图片下载器

• 首先判断当前目录下是否存在 picture 文件夹，os.path.exists
• os 库是非常常用用来操作系统相关的命令库，os.mkdir 就是创建文件夹
• split 用于切割字符串，取出角标为7的元素，作为存储图片的名称
• with 方法用来快速打开文件，打开的进程可以自行关闭文件句柄，而不再需要手动执行 f.close() 关闭文件

总结

本节讲解了爬虫的基本流程以及需要用到的 Python 库和方法，并通过一个实际的例子完成了从分析网页，到数据存储的全过程。其实爬虫，无外乎模拟请求，解析数据，保存数据。

当然有的时候，网站还会设置各种反爬机制，比如 cookie 校验，请求频度检查，非浏览器访问限制，JS 混淆等等，这个时候就需要用到反反爬技术了，比如抓取 cookie 放到 headers 中，使用代理 IP 访问，使用 Selenium 模拟浏览器等待方式。

最后

在学习python中有任何困难不懂的可以微信扫描下方CSDN官方认证二维码加入python交流学习
多多交流问题，互帮互助，这里有不错的学习教程和开发工具。

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/爱喝兽奶帝天荒/article/detail/763066