python爬虫-XPath案例_python 爬虫 xpath讲解

案例一：4k图片解析下载

• 目的：爬取并下载相关网站中的图片
  

• 网站地址

• 示例代码

import requests
from lxml import etree
import os
import time

// 1. 创建文件夹，然后获取url,进行UA伪装
if not os.path.exists('./4kpic'):
    os.mkdir('./4kpic')
    
url = 'http://pic.netbian.com/4kbeijing/'
headers = {
   
       'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/88.0.4324.96 Safari/537.36 Edg/88.0.705.56',
       'Cookie'
1
2
3
4
5
6
7
8
9
10
11
12
13