python爬取大量百度图片_百度一页多少个图片

转载，验证可行：
https://www.jianshu.com/p/33bee611fa7d

一、爬取百度图片一页

import requests
import re
import os

#url = input("请输入百度图片首页地址")
url = r'https://image.baidu.com/search/index?tn=baiduimage&ct=201326592&lm=-1&cl=2&ie=gbk&word=%C3%C0%C5%AE&fr=ala&ala=1&alatpl=cover&pos=0&hs=2&xthttps=111111'

html = requests.get(url).text
links = re.findall(r'"objURL":"(.*?)"', html)  #一个图片对应许多链接，经测试图片链接在 objURL 这个标签内。用正则找出
dirpath = os.getcwd() + '\\pictures'
if not os.path.isdir(dirpath):
    os.mkdir(dirpath)

index = 1
for link in links:
    print("Downloading:", link)
    try:
        res = requests.get(link)
        if str(res.status_code)[0] == "4":
            print("未下载成功：", link)
            continue
    except Exception as e:
        print("未下载成功：", link)
    filename = os.path.join(dirpath, str(index) + ".jpg")
    with open(filename, 'wb') as f:
        f.write(res.content)
        index += 1

print("下载结束，一共 {}张图片" .format(index))
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29

二、爬取更多图片

通过上面的方法我们可以成功爬取百度的一页图片。

但是要获取更多图片呢？可以用 selenium 库，但用别的方法呢？

从网页中我们可以看到要通过下拉才能显示出更多图片，但网址的url并没有改变。

按 F12 后在 Network 中观察，可以发现在下拉过程中，出现了 xhr 这个东东。

点进去看看。

把这个请求头的 URL 复制下，在浏览器地址栏输入，可以看到是 JSON 格式的数据。

所以这是一个传输 JSON 格式的网址。

那么图片在哪呢？

点开 preview ，在 data 中看到了0~30 的数据，随便点开一个。

可以看到，图片就是以 json 格式存在这里。图片链接地址还是在 objURL 标签内。

那么要下载图片的方法就是通过爬取一个个 json 格式的网址，找出里面的图片链接就行了。

通过不断下拉网页，分析几个请求头的 URL ，我们可以分析出它的规律。

我们可以写出任意关键词和它匹配的所有图片网址链接。

import itertools
import urllib


def buildUrls(word):
    word = urllib.parse.quote(word)
    url = r"http://image.baidu.com/search/acjson?tn=resultjson_com&ipn=rj&ct=201326592&fp=result&queryWord={word}&cl=2&lm=-1&ie=utf-8&oe=utf-8&st=-1&ic=0&word={word}&face=0&istype=2nc=1&pn={pn}&rn=60"
    urls = (url.format(word=word, pn=x) for x in itertools.count(start=0, step=60)) #创建一个生成器
    return urls
1
2
3
4
5
6
7
8
9

所需的 json 图片网址搞定了，那么接下去我们要从传回的 json 字符串中找出图片的下载链接

re_url = re.compile(r'"objURL":"(.*?)"')
imgs = re_url.findall(html)
1
2

查看一下 objURL 内的图片下载链接

这是什么下载链接 ？0.0

"objURL":"ippr_z2C$qAzdH3FAzdH3Ft42a_z&e3Bri_z&e3B8dm_z&e3BgjpAzdH3FTUvBJufGp8ysKmCr4RTyFQ==AzdH3Fdm0ancn8a98c98alb9a_z&e3B3r2"
1

原来是加密了，破解方法还是在上面的链接中。

所以我们可以写出解密方法了。

import requests
import re


sign_table = {              #解码 : . / 这三个符号
    '_z2C$q': ':',
    '_z&e3B': '.',
    'AzdH3F': '/'
}


char_table = {              #解码其他字符
    'w': 'a',
    'k': 'b',
    'v': 'c',
    '1': 'd',
    'j': 'e',
    'u': 'f',
    '2': 'g',
    'i': 'h',
    't': 'i',
    '3': 'j',
    'h': 'k',
    's': 'l',
    '4': 'm',
    'g': 'n',
    '5': 'o',
    'r': 'p',
    'q': 'q',
    '6': 'r',
    'f': 's',
    'p': 't',
    '7': 'u',
    'e': 'v',
    'o': 'w',
    '8': '1',
    'd': '2',
    'n': '3',
    '9': '4',
    'c': '5',
    'm': '6',
    '0': '7',
    'b': '8',
    'l': '9',
    'a': '0'
}


# python3字符串的translate方法需要用单个字符的十进制unicode编码作为key
# value 中的数字会被当成十进制unicode编码转换成字符
# 也可以直接用字符串作为value
char_table = {ord(key): ord(value) for key, value in char_table.items()}


def decode(url):
    # 先替换字符串
    for key, value in sign_table.items():
        url = url.replace(key, value)
    # 再替换剩下的字符
    return url.translate(char_table)


if __name__ == '__main__':
    url = r"ippr_z2C$qAzdH3FAzdH3Ft42a_z&e3Bri_z&e3B8dm_z&e3BgjpAzdH3FTUvBJufGp8ysKmCr4RTyFQ==AzdH3Fdm0ancn8a98c98alb9a_z&e3B3r2"
    print(decode(url))
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65

得出正确图片下载链接：

http://img0.ph.126.net/TUcBJfsGt1ylK6CpmRTyFQ==/2670353104154109840.jpg
1

三、下载代码

归纳一下思路：

• 发送 json 格式的 HTTP 请求，获取 json 数据
• 解析数据得到图片下载链接
• 下载图片

import requests
import urllib
import os, re
import itertools


sign_table = {              #解码 : . / 这三个符号
    '_z2C$q': ':',
    '_z&e3B': '.',
    'AzdH3F': '/'
}


char_table = {              #解码其他字符
    'w': 'a',
    'k': 'b',
    'v': 'c',
    '1': 'd',
    'j': 'e',
    'u': 'f',
    '2': 'g',
    'i': 'h',
    't': 'i',
    '3': 'j',
    'h': 'k',
    's': 'l',
    '4': 'm',
    'g': 'n',
    '5': 'o',
    'r': 'p',
    'q': 'q',
    '6': 'r',
    'f': 's',
    'p': 't',
    '7': 'u',
    'e': 'v',
    'o': 'w',
    '8': '1',
    'd': '2',
    'n': '3',
    '9': '4',
    'c': '5',
    'm': '6',
    '0': '7',
    'b': '8',
    'l': '9',
    'a': '0'
}


# python3字符串的translate方法需要用单个字符的十进制unicode编码作为key
# value 中的数字会被当成十进制unicode编码转换成字符
# 也可以直接用字符串作为value
char_table = {ord(key): ord(value) for key, value in char_table.items()}


# 解码图片URL
def decode(url):
    # 先替换字符串
    for key, value in sign_table.items():
        url = url.replace(key, value)
    # 再替换剩下的字符
    return url.translate(char_table)


# 生成网址列表
def buildUrls(word):
    word = urllib.parse.quote(word)
    url = r"http://image.baidu.com/search/acjson?tn=resultjson_com&ipn=rj&ct=201326592&fp=result&queryWord={word}&cl=2&lm=-1&ie=utf-8&oe=utf-8&st=-1&ic=0&word={word}&face=0&istype=2nc=1&pn={pn}&rn=60"
    urls = (url.format(word=word, pn=x) for x in itertools.count(start=0, step=60))
    return urls


# 解析JSON获取图片URL
re_url = re.compile(r'"objURL":"(.*?)"')
def resolveImgUrl(html):
    imgUrls = [decode(x) for x in re_url.findall(html)]
    return imgUrls


# 下载图片
def downImg(imgUrl, dirpath, imgName):
    filename = os.path.join(dirpath, imgName)
    try:
        res = requests.get(imgUrl, timeout=15)
        if str(res.status_code)[0] == "4":
            print(str(res.status_code), ":" , imgUrl)
            return False
    except Exception as e:
        print("抛出异常：", imgUrl)
        print(e)
        return False
    with open(filename, "wb") as f:
        f.write(res.content)
    return True


if __name__ == '__main__':
    print("欢迎使用百度图片下载脚本！目前仅支持单个关键词。")
    print("下载结果保存在脚本目录下的picture文件夹中。")
    print("=" * 50)
    word = input("请输入你要下载的图片关键词：\n")

    dirpath = os.getcwd() + '\\pictures'
    if not os.path.isdir(dirpath):
        os.mkdir(dirpath)
    urls = buildUrls(word)
    index = 0
    for url in urls:
        print("正在请求：", url)
        html = requests.get(url, timeout=10).content.decode('utf-8')
        imgUrls = resolveImgUrl(html)
        if len(imgUrls) == 0:  # 没有图片则结束
            break
        for url in imgUrls:
            if downImg(url, dirpath, str(index) + ".jpg"):
                index += 1
                print("已下载 %s 张" % index)
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118