python中multi函数的使用方法_Python多进程并发(multiprocessing)用法实例详解

python并行化介绍及使用 Pool

本篇将要介绍Python的并行化，及简单的应用。

主要介绍map函数的使用，一手包办了序列操作、参数传递和结果保存等一系列的操作。

首先是引入库：

from multiprocessing.dummy import Pool

pool=Pool(4)

results=pool.map(爬取函数，网址列表)

本文将一个简单的例子来看一下如何使用map函数以及这种方法与普通方法的对比情况。

import time

from multiprocessing.dummy import Pool

def getsource(url):

html=requests.get(url)

urls=[]

for i in range(1,21):

newpage='http://tieba.baidu.com/p/3522395718?pn='+str(i)

urls.append(newpage)

timex=time.time() #测试一

for i in urls:

getsource(i)

print (time.time()-timex)

#这里是输出的结果：

#10.2820000648

time1=time.time() #测试二

pool=Pool(4)

results=pool.map(getsource,urls)

pool.close()

pool.join()

print (time.time()-ti