python多进程通信之multiprocessing.Queue_multiprocessing queue

multiprocessing.Queue()和queue.Queue()的区别

Queue.Queue是进程内非阻塞队列，用于进程内的各函数模块或线程间通信。

multiprocess.Queue是跨进程通信队列。但是不能用于multiprocessing.Pool多进程的通信。

multiprocessing.Manager

进程池multiprocessing.Pool()的多进程之间的通信要用multiprocessing.Manager().Queue()

一个multiprocessing.Manager对象会控制一个服务器进程，其他进程可以通过代理的方式来访问这个服务器进程。从而达到多进程间数据通信且安全。

Manager支持的类型有list,dict,Namespace,Lock,RLock,Semaphore,BoundedSemaphore,Condition,Event,Queue,Value和Array。

个人理解：Manager()是一个中转站，用于把一些不能垮进程的对象共享给多进程。个人认为其效率不会很高。

多进程使用 multiprocessing.Queue通信

自己写了个简单的测试程序。
我担心multiprocessing.Queue同时有多个进程读或者多个进程写，是否是安全的，数据是否会串扰。经过测试我的担心是多余的。

另外我担心multiprocessing.Queue的效率问题。后来使用图片来测试，发现相比写磁盘，multiprocessing.Queue的效率要高很多。所以我决定采用multiprocessing.Queue来传输图片。

from multiprocessing import Process, Queue, Pool,Manager
import time, random, cv2

# 写数据进程执行的代码
def write(q, w_cnt, index):
    print('write task:{}'.format(index))
    for num in range(w_cnt):
        q.put('write task-{}, cnt-{}'.format(index, num))
    print( 'write task:{} done'.format( index ) )

# 读数据进程执行的代码
def read(q, read_cnt):
    cnt = 0
    while True:
        if not q.empty():
            value = q.get(True)
            print ('Get:[%s] from queue.' % value)
            cnt += 1
            if cnt >= read_cnt:
                break


if __name__=='__main__':
    r_num = 1  # 读进程的数量
    w_num = 20 # 写进程的数量
    w_cnt = 20 # 写进程循环的次数
    q = Queue(10)
    r_list = [Process( target=read, args=(q,w_num*w_cnt,) ) for i in range(r_num)]
    w_list = [Process( target=write, args=(q,w_cnt,i,) ) for i in range( w_num )]

    time_start = time.time()
    [task.start() for task in w_list]
    [task.start() for task in r_list]

    [task.join() for task in w_list]
    [task.join() for task in r_list]
    time_used = time.time() - time_start

    print('time_used:{}s'.format(time_used))
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39

参考资料

multiprocessing.Queue()和queue.Queue()的区别

改善 Python 程序的 91 个建议（六）