2024年最全【python】爬取4K壁纸保存到本地文件夹【附源码】(1)，2024年最新字节跳动历年网络安全中高级面试题全收录_wp视频模块 网站源码下载

学习路线：

这个方向初期比较容易入门一些，掌握一些基本技术，拿起各种现成的工具就可以开黑了。不过，要想从脚本小子变成黑客大神，这个方向越往后，需要学习和掌握的东西就会越来越多以下是网络渗透需要学习的内容：

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化资料的朋友，可以点击这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

效果图：

代码详解：

1. get_imgurl_list(url, imgurl_list) 函数用来获取指定页面中的图片链接，并将这些链接存储在 imgurl_list 列表中。

• 使用 requests.get(url=url, headers=headers) 发起请求获取页面内容。
• 使用 etree.HTML(html_str) 将页面内容转换为 etree 对象，方便后续使用 XPath 进行解析。
• 通过 XPath 定位到图片链接，并添加到 imgurl_list 中。

2. get_down_img(imgurl_list) 函数用来下载图片到本地存储。

• 创建名为 “美女” 的文件夹用于存储下载的图片。
• 遍历 imgurl_list 中的图片链接，逐个下载图片并保存到本地文件夹中。

3. 在 if __name__ == '__main__': 部分：

• 设置需要爬取的页数 page_number = 10。
• 循环构建每一页的链接，如 https://www.moyublog.com/95-2-2-{i}.html。
• 调用 get_imgurl_list() 函数获取图片链接。
• 调用 get_down_img() 函数下载图片到本地。

代码流程：

1. 导入必要的库和模块：

import requests  # 用于发送HTTP请求
from lxml import etree  # 用于解析HTML页面
import time  # 用于控制爬取速度
import os  # 用于文件操作

1
2
3
4
5

1. 定义函数get_imgurl_list(url, imgurl_list)用于获取图片链接：

def get_imgurl_list(url, imgurl_list):
    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/95.0.4638.69 Safari/537.36'
    }
    response = requests.get(url=url, headers=headers)
    html_str = response.text
    html_data = etree.HTML(html_str)
    li_list = html_data.xpath("//ul[@class='clearfix']/li")
    for li in li_list:
        imgurl = li.xpath(".//a/img/@data-original")[0]
        imgurl_list.append(imgurl)

1
2
3
4
5
6
7
8
9
10
11
12

• 发送GET请求获取网页内容。
• 将网页内容转换为etree对象以便后续使用xpath进行解析。
• 使用xpath定位所有的li标签，并遍历每个li标签获取图片链接，将链接添加到imgurl_list列表中。

1. 定义函数get_down_img(imgurl_list)用于下载图片：

def get_down_img(imgurl_list):
    os.mkdir("美女")
    n = 0
    for img_url in imgurl_list:
        headers = {
            'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/95.0.4638.69 Safari/537.36'
        }
        img_data = requests.get(url=img_url, headers=headers).content
        img_path = './美女/' + str(n) + '.jpg'
        with open(img_path, 'wb') as f:
            f.write(img_data)
        n += 1

1
2
3
4
5
6
7
8
9
10
11
12
13

• 创建名为"美女"的目录用于存放下载的图片。
• 遍历图片链接列表，逐个发送GET请求下载图片数据，并将图片写入本地文件。每张图片以数字编号命名。

1. 主程序部分：

if __name__ == '__main__':
    page_number = 10  # 爬取页数
    imgurl_list = []  # 存放图片链接
    for i in range(0, page_number + 1):
        url = f'https://www.moyublog.com/95-2-2-{i}.html'
        print(url)
        get_imgurl_list(url, imgurl_list)
    get_down_img(imgurl_list)

1
2
3
4
5
6
7
8
9

• 设定要爬取的页数page_number为10。
• 初始化存放图片链接的列表imgurl_list。
• 循环构建每一页的链接并调用get_imgurl_list()函数获取图片链接。
• 最后调用get_down_img()函数下载图片到本地"美女"文件夹。

为什么我们在获取数据的过程中需要用到IP池

1. 应对反爬虫策略：许多网站会采取反爬虫措施，限制单个IP的访问频率或次数。通过使用数据获取服务，可以轮换多IP来模仿多个用户访问，降低被封禁的风险。
2. 保证稳定性：有些数据获取服务可能存在不稳定的情况，包括IP连接速度慢、IP被找到等问题。通过建立数据获取服务，可以预先准备多个可用的IP地址，确保程序在某个IP不可用时可以快速切换到其他可用IP，提高爬虫程序的稳定性。
3. 提高访问速度：IP池中的多个IP地址可以并发使用，实现多线程或异步请求，从而加快数据获取速度。通过在数据获取服务中保持一定数量的可用IP地址，可以实现更快速的数据抓取。
4. 应对封禁风险：有些网站会根据某些特定的IP地址或IP段进行封禁，如果整个IP池中的IP都被封禁，可以及时更新IP池中的IP地址，避免影响爬虫程序的正常运行。
5. 降低被识别的风险：当爬虫程序使用固定的IP地址进行访问时，容易被网站识别出是爬虫行为。

完整代码：

import requests  # python基础爬虫库
from lxml import etree  # 可以将网页转换为Elements对象
import time  # 防止爬取过快可以睡眠一秒
import os
def get_imgurl_list(url, imgurl_list):
    headers = {


### 给大家的福利


**零基础入门**


对于从来没有接触过网络安全的同学，我们帮你准备了详细的学习成长路线图。可以说是最科学最系统的学习路线，大家跟着这个大的方向学习准没问题。


![](https://img-blog.csdnimg.cn/img_convert/95608e9062782d28f4f04f821405d99a.png)


同时每个成长路线对应的板块都有配套的视频提供：


![在这里插入图片描述](https://img-blog.csdnimg.cn/direct/a91b9e8100834e9291cfcf1695d8cd42.png#pic_center)


因篇幅有限，仅展示部分资料

**网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。**

**[需要这份系统化资料的朋友，可以点击这里获取](https://bbs.csdn.net/forums/4f45ff00ff254613a03fab5e56a57acb)**

**一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！**

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34