python多进程多线程介绍，优缺点对比，以及使用场景实例代码_multiprocessing.cpu_count()

 python多进程多线程介绍

多进程的定义描述：

多进程指的是在一个程序中同时执行多个进程的并发执行方式。每个进程有自己独立的内存空间和资源，可以独立运行。多进程执行可以更好地利用多核处理器CPU，提高程序的性能。Python中可以使用multiprocessing模块来实现多进程。

多线程的定义描述：

多线程是指在一个进程内同时执行多个线程的并发执行方式。线程是进程的一部分，共享进程的内存空间和资源。多线程执行可以方便地进行数据共享和通信，但由于Python中的全局解释器锁（GIL）的存在，限制了多线程的并行执行。Python中可以使用threading模块来实现多线程。

python多进程多线程优缺点对比

Python中的多进程和多线程是用于实现并发执行的两种常见方式，它们各自有不同的优点和缺点。下面是对比它们的优缺点以及使用场景的：

多进程的优点：

• 更好地利用CPU多核心：每个进程可以在各自的核心上运行，从而实现并行处理，提高性能。
• 进程之间相对独立：每个进程都有自己的内存空间，避免了多个线程之间的资源竞争问题。
• 可以充分利用操作系统的调度算法：操作系统可以在不同进程之间进行调度，提高了并发性。

多进程的缺点：

• 创建和销毁进程的开销较大：每个进程都需要一定的系统资源，包括内存和CPU时间，创建和销毁进程的开销较大。
• 进程间通信比较复杂：在进程之间进行通信需要使用特殊的机制，如队列、管道等。

多线程的优点：

• 创建和销毁线程的开销较小：线程之间共享进程的资源，创建和销毁线程的开销较小。
• 数据共享更方便：线程之间可以直接共享内存，可以方便地进行数据传递和共享。
• 线程间通信较简单：线程之间可以直接通过共享内存进行通信。

多线程的缺点：

• 全局解释器锁（GIL）：Python中的全局解释器锁限制了多线程的并行执行，在CPU密集型任务上并不能充分利用多核处理器。

下面是一个对比多进程和多线程的优缺点简单概括表格：

python多进程多线程使用场景实例代码

Python获取CPU个数：

在Python中，可以使用multiprocessing模块的cpu_count()函数或者os模块的_count()函数来获取CPU的个数。下面是两种方法的代码示例：

使用multiprocessing模块的cpu_count()函数：

import multiprocessing 
 
num_cpus = multiprocessing.cpu_count() 
print("CPU个数：", num_cpus)

使用os模块的cpu_count()函数：

import os 
 
num_cpus = os.cpu_count() 
print("CPU个数：", num_cpus)

上述代码中，cpu_count()函数会返回CPU的个数。在大多数情况下，这两种方法应该可以得到相同的结果。

多进程的使用场景示例代码：

import multiprocessing
 
def worker(n):
    print(f'Process {n} executing')
 
if __name__ == '__main__':
    num_processes = multiprocessing.cpu_count()
    pool = multiprocessing.Pool(num_processes)
    
    for i in range(num_processes):
        pool.apply_async(worker, args=(i,))
    
    pool.close()
    pool.join()

多线程的使用场景示例代码：

import threading
import os
 
def worker(n):
    print(f'Thread {n} executing')
 
if __name__ == '__main__':
    #num_threads = 4
    num_threads = os.cpu_count() * 2
    
    threads = []
    for i in range(num_threads):
        t = threading.Thread(target=worker, args=(i,))
        threads.append(t)
        t.start()
    
    for thread in threads:
        thread.join()

请根据具体需求酌情选择多进程或多线程，在CPU密集型任务中，多进程可能更合适，而在I/O密集型任务中，多线程可能更合适。但需要注意，Python中的全局解释器锁会限制多线程的并行执行，因此在涉及CPU密集型任务时，可以考虑使用多线程库如concurrent.futures来实现并发执行。

实际使用场景源码参考：

Python多进程分片下载远端大文件 - multiprocessing paramiko_Entropy-Go的博客-CSDN博客

Python多线程分片下载远端大文件 - threading paramiko_Entropy-Go的博客-CSDN博客