赞
踩
先贴代码
# -*- coding:utf8 -*- import requests import json from urllib import parse import os import time class BaiduImageSpider(object): def __init__(self): self.json_count = 0 # 请求到的json文件数量(一个json文件包含30个图像文件) self.url = 'https://image.baidu.com/search/acjson?tn=resultjson_com&logid=5179920884740494226&ipn=rj&ct' \ '=201326592&is=&fp=result&queryWord={' \ '}&cl=2&lm=-1&ie=utf-8&oe=utf-8&adpicid=&st=-1&z=&ic=0&hd=&latest=©right=&word={' \ '}&s=&se=&tab=&width=&height=&face=0&istype=2&qc=&nc=1&fr=&expermode=&nojc=&pn={' \ '}&rn=30&gsm=1e&1635054081427= ' self.directory = r"C:\Users\cun\Pictures\download\{}" # 存储目录 这里需要修改为自己希望保存的目录 {}不要丢 self.header = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) ' 'Chrome/95.0.4638.54 Safari/537.36 Edg/95.0.1020.30 ' } # 创建存储文件夹 def create_directory(self, name): self.directory = self.directory.format(name) # 如果目录不存在则创建 if not os.path.exists(self.directory): os.makedirs(self.directory) self.directory += r'\{}' # 获取图像链接 def get_image_link(self, url): list_image_link = [] strhtml = requests.get(url, headers=self.header) # Get方式获取网页数据 jsonInfo = json.loads(strhtml.text) for index in range(30): list_image_link.append(jsonInfo['data'][index]['thumbURL']) return list_image_link # 下载图片 def save_image(self, img_link, filename): res = requests.get(img_link, headers=self.header) if res.status_code == 404: print(f"图片{img_link}下载出错------->") with open(filename, "wb") as f: f.write(res.content) print("存储路径:" + filename) # 入口函数 def run(self): searchName = input("查询内容:") searchName_parse = parse.quote(searchName) # 编码 self.create_directory(searchName) pic_number = 0 # 图像数量 for index in range(self.json_count): pn = (index+1)*30 request_url = self.url.format(searchName_parse, searchName_parse, str(pn)) list_image_link = self.get_image_link(request_url) for link in list_image_link: pic_number += 1 self.save_image(link, self.directory.format(str(pic_number)+'.jpg')) time.sleep(0.2) # 休眠0.2秒,防止封ip print(searchName+"----图像下载完成--------->") if __name__ == '__main__': spider = BaiduImageSpider() spider.json_count = 10 # 定义下载10组图像,也就是三百张 spider.run()
如果要使用上述程序的话,需要修改两个地方:
也可以去gitee仓库直接下载程序。
流程:先分析页面,然后写爬虫程序。
打开“百度图片”,随便搜索一个词汇,例如玫瑰,可以查询到相关的图片
- 分析页面
点击鼠标右键–>检查–元素,先找到第一层div
然后往下找,可以找到一堆li,也就是以列表排列的元素,经研究发现,每个li代表一个模块,每个模块包含图像和下面的字,实际上,下面的字也带有相应链接,点击可以跳转到新页面。
可以先数一下,包含前面的广告图片,总共也就二十多个li,也就是只包含了二十多张图像。
根据使用经验来看,鼠标滚轮下滚,会看到源源不断的图像,并不局限于二十多张图像,那么我们先下滚鼠标滚轮,看看会发生什么。(此时只有一个类名为“imgpage”的div)
鼠标滚轮下滚,类名为“imgpage”的div增加了很多,继续下滚,还会继续增加。
由此可以得出一个结论,“百度图片”初始只会渲染部分图像到页面上,随着滚轮下滚,就会请求新的数据。而请求数据,就可以在“网络“中获取请求信息,
打开”网络“,可以发现请求的数据非常非常多,而我们只想找刚刚请求的图像数据。
打开”网络“中的【XHR】,这里的数据都是通过XHR请求到的,通过名称可以初步判断出,请求到的文件是json格式的。
随便点开一个文件,查看请求的url,可以发现,url很长
比对以下不同文件的请求url,可以发现两个【pn】和【gsm】不同(gsm可以不用管它,这是通信系统)
对比多个文件,可以看到特点:
下滚鼠标滚轮,会添加一个新的json文件,实际上,pn表示一组数据,一组数据包含30个图像内容,也就是第一次请求会得到30个图像,再次请求会得到另外30个图像。
现在已经分析出查询同种类型图像的url特点,那么不同类型的请求url呢?
这里又查询了一下”向日葵“,,pn也是按30、60、90进行排列的。对比”玫瑰“和”向日葵“的请求url,不同的属性增加了【logid】、【queryWord】、【word】,而【queryWord】和【word】的信息是相同的,通过名称可以看出,【queryWord】和【word】代表的是查询信息。
queryWord=%E5%90%91%E6%97%A5%E8%91%B5
这后面的信息是编码后的查询数据,至于为什么编码,是因为URL只支持一部分ASCII编码,而中文内容需要进行编码,才能用于url
使用在线URL编码工具尝试编码”向日葵“,发现与url使用中的相同
到这里,我们可以尝试一下这个url请求
import requests # 导入requests包
url = 'https://image.baidu.com/search/acjson?tn=resultjson_com&logid=6991546938775238432&ipn=rj&ct=201326592&is=&fp=result&queryWord=%E5%90%91%E6%97%A5%E8%91%B5&cl=2&lm=-1&ie=utf-8&oe=utf-8&adpicid=&st=&z=&ic=&hd=&latest=©right=&word=%E5%90%91%E6%97%A5%E8%91%B5&s=&se=&tab=&width=&height=&face=&istype=&qc=&nc=1&fr=&expermode=&nojc=&pn=30&rn=30&gsm=1e&1635046467636='
headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/95.0.4638.54 Safari/537.36 Edg/95.0.1020.30'}
strhtml = requests.get(url, headers=headers) # Get方式获取网页数据
print(strhtml.text)
请求到的数据如下图所示,可以看到返回结果是json格式的。
既然是json格式的,我们也不用BeautifulSoup进行解码了,直接根据json格式获取信息。
import requests # 导入requests包
import json
url = 'https://image.baidu.com/search/acjson?tn=resultjson_com&logid=6991546938775238432&ipn=rj&ct=201326592&is=&fp=result&queryWord=%E5%90%91%E6%97%A5%E8%91%B5&cl=2&lm=-1&ie=utf-8&oe=utf-8&adpicid=&st=&z=&ic=&hd=&latest=©right=&word=%E5%90%91%E6%97%A5%E8%91%B5&s=&se=&tab=&width=&height=&face=&istype=&qc=&nc=1&fr=&expermode=&nojc=&pn=30&rn=30&gsm=1e&1635046467636='
headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/95.0.4638.54 Safari/537.36 Edg/95.0.1020.30'}
strhtml = requests.get(url, headers=headers) # Get方式获取网页数据
jsonInfo = json.loads(strhtml.text)
for index in range(30):
print(jsonInfo['data'][index]['thumbURL'])
点击相应的链接,可以查询出相应的图像。
- 编写爬虫程序
经过上面分析,基本上有了编写程序的思路。
根据设计思路,编写爬虫程序
# -*- coding:utf8 -*- import requests import json from urllib import parse import os import time class BaiduImageSpider(object): def __init__(self): self.json_count = 0 # 请求到的json文件数量(一个json文件包含30个图像文件) self.url = 'https://image.baidu.com/search/acjson?tn=resultjson_com&logid=5179920884740494226&ipn=rj&ct' \ '=201326592&is=&fp=result&queryWord={' \ '}&cl=2&lm=-1&ie=utf-8&oe=utf-8&adpicid=&st=-1&z=&ic=0&hd=&latest=©right=&word={' \ '}&s=&se=&tab=&width=&height=&face=0&istype=2&qc=&nc=1&fr=&expermode=&nojc=&pn={' \ '}&rn=30&gsm=1e&1635054081427= ' self.directory = r"C:\Users\cun\Pictures\download\{}" # 存储目录 这里需要修改为自己希望保存的目录 {}不要丢 self.header = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) ' 'Chrome/95.0.4638.54 Safari/537.36 Edg/95.0.1020.30 ' } # 创建存储文件夹 def create_directory(self, name): self.directory = self.directory.format(name) # 如果目录不存在则创建 if not os.path.exists(self.directory): os.makedirs(self.directory) self.directory += r'\{}' # 获取图像链接 def get_image_link(self, url): list_image_link = [] strhtml = requests.get(url, headers=self.header) # Get方式获取网页数据 jsonInfo = json.loads(strhtml.text) for index in range(30): list_image_link.append(jsonInfo['data'][index]['thumbURL']) return list_image_link # 下载图片 def save_image(self, img_link, filename): res = requests.get(img_link, headers=self.header) if res.status_code == 404: print(f"图片{img_link}下载出错------->") with open(filename, "wb") as f: f.write(res.content) print("存储路径:" + filename) # 入口函数 def run(self): searchName = input("查询内容:") searchName_parse = parse.quote(searchName) # 编码 self.create_directory(searchName) pic_number = 0 # 图像数量 for index in range(self.json_count): pn = (index+1)*30 request_url = self.url.format(searchName_parse, searchName_parse, str(pn)) list_image_link = self.get_image_link(request_url) for link in list_image_link: pic_number += 1 self.save_image(link, self.directory.format(str(pic_number)+'.jpg')) time.sleep(0.2) # 休眠0.2秒,防止封ip print(searchName+"----图像下载完成--------->") if __name__ == '__main__': spider = BaiduImageSpider() spider.json_count = 10 # 定义下载10组图像,也就是三百张 spider.run()
如果要使用上述程序的话,需要修改两个地方:
测试下载3组玫瑰,程序运行情况:
下载的玫瑰图像数据:
10组向日葵图像:
值得注意的是,下载过程中使用了休眠,这里设置了下载一张图像休眠0.2秒,是为了防止查询过快导致ip地址被封,更进阶的做法是添加【代理ip池】
爬虫还是比较好入门的,这得益于成熟的爬虫工具。
爬虫可以满足自己的个性化搜索需求,快动手试试吧。
如果觉得文章还不错的话,留个赞再走吧,非常感谢!!!
如果大家对Python感兴趣,这套python学习资料一定对你有用
对于0基础小白入门:
如果你是零基础小白,想快速入门Python是可以考虑的。
一方面是学习时间相对较短,学习内容更全面更集中。
二方面是可以根据这些资料规划好学习计划和方向。
包括:Python激活码+安装包、Python web开发,Python爬虫,Python数据分析,人工智能、机器学习、Python量化交易等习教程。带你从零基础系统性的学好Python!
① Python所有方向的学习路线图,清楚各个方向要学什么东西
② 600多节Python课程视频,涵盖必备基础、爬虫和数据分析
③ 100多个Python实战案例,含50个超大型项目详解,学习不再是只会理论
④ 20款主流手游迫解 爬虫手游逆行迫解教程包
⑤ 爬虫与反爬虫攻防教程包,含15个大型网站迫解
⑥ 爬虫APP逆向实战教程包,含45项绝密技术详解
⑦ 超300本Python电子好书,从入门到高阶应有尽有
⑧ 华为出品独家Python漫画教程,手机也能学习
⑨ 历年互联网企业Python面试真题,复习时非常方便
Copyright © 2003-2013 www.wpsshop.cn 版权所有,并保留所有权利。