利用python多进程加速日常工作中的for循环操作_python多进程加快for循环

1. 工作场景

    算法工程师工作中一个不可避免的事项是对数据集中的每一张图片执行某一特定操作。此次的需求就是通过python多进程的方式来加速这一工作项。

2. 需求分析

    为了更加有针对性，设计一个具体的case：有1万张图片和其对应的label文件，label文件中有一个字段’angle’表示该图片是经过旋转angle之后的结果。对该1万张图片，按照label文件中的angle复原回旋转之前的结果；收集无需进行旋转的图片名称列表；结合tqdm显示处理进度。

1. python多进程基本范式
2. python带有返回值的多进程基本范式
3. tqdm和python多进程的结合

3. 解决方案

    

from multiprocessing import Pool

def fun(params):
	(pic_dir, json_dir, image_name) = params
	# 根据json文件中的angle旋转picture
	...
	# return None or pic name
	
param_list = [(pic_dir, json_dir, image_name) for image_name in images_name_list]
with Pool(16) as p:
	r = list(tqdm.tqdm(p.imap(fun, param_list), total=len(param_list), desc='多进程旋转图片：'))
p.close()
p.join()
r = list(set(r))
r.remove(None)  # 删除无效返回值
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15

4. 结语

    本文介绍了如何利用python多进程来加速处理for循环操作的方式，该方案可以处理多进程带有返回值的情景，并结合tqdm模块动态显示进程的处理进度。

5. 后续

  记录于2022年10月13日。最近在做文本识别的任务，数据的操作量在千万甚至亿级别以上。用多进程简单的几行代码修改，就可以加速4倍左右。原本1~2个工作日的操作时长，一晚上就可以完成。
  但这里有一个需要注意的一点就是进程的安全性。例如，一个小插曲是：在fun函数中有如下操作：

if not os.path.exists(directory):
    os.makedirs(directory)
1
2

  这种方式是不安全的，它会导致竞争条件。在os.path.exists()和os.makedirs()之间的时间可能会出现目录被创建。最终修改为：

os.makedirs(directory, exists_ok=True)
1