当前位置:   article > 正文

python 线程池threadpool(使用篇)_pool.map put(task)

pool.map put(task)

最近在做一个视频设备管理的项目,设备包括(摄像机,DVR,NVR等),包括设备信息补全,设备状态推送,设备流地址推送等,如果同时导入的设备数量较多,如果使用单线程进行设备检测,那么由于设备数量较多,会带来较大的延时,因此考虑多线程处理此问题。

可以使用python语言自己实现线程池,或者可以使用第三方包threadpool线程池包,本主题主要介绍threadpool的使用以及其里面的具体实现。

1、安装

使用安装: pip installthreadpool

2、使用

    (1)引入threadpool模块
    (2)定义线程函数
    (3)创建线程 池threadpool.ThreadPool()
    (4)创建需要线程池处理的任务即threadpool.makeRequests()
    (5)将创建的多个任务put到线程池中,threadpool.putRequest
    (6)等到所有任务处理完毕theadpool.pool()
  1. import threadpool
  2. def ThreadFun(arg1,arg2):
  3. pass
  4. def main():
  5. device_list=[object1,object2,object3......,objectn]#需要处理的设备个数
  6. task_pool=threadpool.ThreadPool(8)#8是线程池中线程的个数
  7. request_list=[]#存放任务列表
  8. #首先构造任务列表
  9. for device in device_list:
  10. request_list.append(threadpool.makeRequests(ThreadFun,[((device, ), {})]))
  11. #将每个任务放到线程池中,等待线程池中线程各自读取任务,然后进行处理,使用了map函数,不了解的可以去了解一下。
  12. map(task_pool.putRequest,request_list)
  13. #等待所有任务处理完成,则返回,如果没有处理完,则一直阻塞
  14. task_pool.poll()
  15. if __name__=="__main__":
  16. main()

上面就是一个具体的线程池的使用流程
threadpool具体的定义如下:
  1. class ThreadPool:
  2. """A thread pool, distributing work requests and collecting results.
  3. See the module docstring for more information.
  4. """
  5. def __init__(self, num_workers, q_size=0, resq_size=0, poll_timeout=5):
  6. pass
  7. def createWorkers(self, num_workers, poll_timeout=5):
  8. pass
  9. def dismissWorkers(self, num_workers, do_join=False):
  10. pass
  11. def joinAllDismissedWorkers(self):
  12. pass
  13. def putRequest(self, request, block=True, timeout=None):
  14. pass
  15. def poll(self, block=False):
  16. pass
  17. def wait(self):
  18. pass



下一节会详细介绍上面的整个流程以及每个函数:python 线程池threadpool(实现篇)

声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/从前慢现在也慢/article/detail/189730
推荐阅读
相关标签
  

闽ICP备14008679号