赞
踩
生产者-消费者模式是一个十分经典的多线程并发协作的模式,弄懂生产者-消费者问题能够让我们对并发编程的理解加深。
所谓生产者-消费者问题,实际上主要是包含了两类线程,一种是生产者线程用于生产数据,另一种是消费者线程用于消费数据,为了解耦生产者和消费者的关系,通常会采用共享的数据区域,就像是一个仓库。
生产者生产数据之后直接放置在共享数据区中,并不需要关心消费者的行为;而消费者只需要从共享数据区中去获取数据,就不再需要关心生产者的行为。
但是,这个共享数据区域中应该具备这样的线程间并发协作的功能。
传统爬虫流程:
- requests 请求所要爬取的页面
- 等待响应回来接收数据
- 解析页面数据
- 持久化存储
- 重复以上操作
流程有两个问题
生产者-消费者爬虫流程:
生产者:
- requests 请求所要爬取的页面
- 等待响应回来接收数据
- 将数据保存到队列当中
- 进行下一次请求
消费者:
- 判断队列当中是否有数据,如果有则往后进行
- 解析页面数据
- 持久化存储
- 重复以上步骤
示例网站:斗图啦—貌似没有反爬
# 引入包
import threading
import requests
from lxml import etree
from urllib import request
from queue import Queue
# 生产者,访问页面,获取图片地址
class Producer(threading.Thread):
headers = {
"User-Agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.138 Safari/537.36",
}
def __init__(self, page_queue, img_queue, *args, **kwargs):
super(Producer, self).__init__(*args, **kwargs)
self.page_queue = page_queue
self.img_queue = img_queue
def run(self):
while True:
if self.page_queue.empty():
break
url = self.page_queue.get()
self.parse_page(url)
def parse_page(self, url):
response = requests.get(url=url, headers=self.headers)
text = response.text
html = etree.HTML(text)
img_list = html.xpath('//div[@class="page-content text-center"]/div/a/img')
for img in img_list:
img_url = img.xpath('./@data-original')[0]
img_name = img.xpath('./@alt')[0] + '.jpg'
self.img_queue.put((img_url, img_name))
# 消费者,取出图片地址保存图片到本地
class Consumer(threading.Thread):
def __init__(self, page_queue, img_queue, *args, **kwargs):
super(Consumer, self).__init__(*args, **kwargs)
self.page_queue = page_queue
self.img_queue = img_queue
def run(self):
while True:
if self.page_queue.empty() and self.img_queue.empty():
break
img_url, img_name = self.img_queue.get()
request.urlretrieve(img_url, "./imgs/" + img_name.replace('/', ''))
print(img_name + " 下载完成!")
# 定义一个主方法,该方法向处理方法中传值
def main():
page_queue = Queue(50) # 存储页码链接
img_queue = Queue(10) # 存储解析出来的图片链接
# 想要爬取前10页的数据
for x in range(1, 11):
url = "https://www.doutula.com/photo/list/?page=%d" % x
page_queue.put(url) # 将10页的页码链接加入到了page_queue
# 开启三个生产者
for x in range(3):
t = Producer(page_queue, img_queue)
t.start()
# 开启三个消费者
for x in range(3):
t = Consumer(page_queue, img_queue)
t.start()
if __name__ == '__main__':
main()
注意: 试一试就可以了,不要瞎玩~
Copyright © 2003-2013 www.wpsshop.cn 版权所有,并保留所有权利。