python 进程池（multiprocessing.Pool）和线程池（threadpool.ThreadPool）的区别与实例_multiprocessing.pool.threadpool

zhen24于 2019-01-07 20:50:13 发布

一般我们是通过动态创建子进程（或子线程）来实现并发服务器的，但是会存在这样一些缺点：

　　1、动态创建进程（或线程）比较耗费时间，这将导致较慢的服务器响应。 
　　2、动态创建的子进程通常只用来为一个客户服务，这样导致了系统上产生大量的细微进程（或线程）。进程和线程间的切换将消耗大量CPU时间。 
　　3、动态创建的子进程是当前进程的完整映像，当前进程必须谨慎的管理其分配的文件描述符和堆内存等系统资源，否则子进程可能复制这些资源，从而使系统的可用资源急剧下降，进而影响服务器的性能。 所以呢，就引入了进程池与线程池的概念。 

首先我们先来一个简单的例子来看下两者实现有什么区别：

#并发十条线程求1加到1亿的和

1. import threadpool
2.  
3. #调用sum函数求和
4. def sum(start,end):
5.     sum=0
6.     for i in range(start,end+1):
7.         sum+=i
8.     return sum
9.  
10. #定义结果统一回调
11. totalsum=0
12. def onresult(req,sum):
13.     global totalsum
14.     totalsum+=sum
15.  
16. #并发10条线程并求和
17. def threadpoolSum():
18.     # 创建需求列表
19.     reqlist = []
20.     for i in range(10):
21.         reqlist.append(([i * 10 ** 7 + 1, 10 ** 7 * (i + 1)], None))
22. 　　#创建需求
23.     reqs = threadpool.makeRequests(sum, reqlist, callback=onresult)
24.     # 创建线程为10的线程池
25.     mypool = threadpool.ThreadPool(10)
26. 　　#把需求添加到线程池
27.     for item in reqs:
28.         mypool.putRequest(item)
29.  
30.     # 阻塞等待
31.     mypool.wait()
32.     # 打印结果
33.     print(totalsum)
34.  
35. #程序主入口
36. if __name__ == '__main__':
37.     threadpoolSum()

1. 接下来我们来看下进程池：
2. import multiprocessing
3. #调用sum函数求和
4. def sum(start,end):
5.     sum=0
6.     for i in range(start,end+1):
7.         sum+=i
8.     return sum
9. #结果统一回调并处理
10. totalsum=0
11. def onresult(sum):
12.      global totalsum
13.      totalsum+=sum
14. def MultiprocessPoolSum():
15.    #创建10条进程池
16.    mypool = multiprocessing.Pool(10)
17. 　 #并发10条进程
18.    for i in range(10):
19.    　　 mypool.apply_async(sum, (i * 10 ** 7 + 1, 10 ** 7 * (i + 1)), callback=onresult)
20. 　 #关闭进程池
21.    mypool.close()
22. 　 #阻塞等待
23.    mypool.join()
24.    print(totalsum)
25.  
26. #程序主入口
27. if __name__ == '__main__':
28.     MultiprocessPoolSum()

尽管进程和线程两者大体相似，但还是有所区别：
首先体现在并发上：
　　线程池并发数据需要先创建需求，再添加得到线程池当中，而进程池它默认就有两种并发模式，第一种是apply,这是进程的同步，而第二种apply_async则是异步，不需要先创建需求。

其次体现在回调上：
　　　线程池默认回调上，其除了自身返回的结果外，它还会单独的返回一个系统的（告诉我们那条线程完成了什么任务）；而进程池回调就是我们所返回的值，系统不会单独回调一个值。
————————————————
版权声明：本文为CSDN博主「zhen24」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。
原文链接：https://blog.csdn.net/weixin_43692357/article/details/86026040