首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >python3多进程实现

python3多进程实现

作者头像
py3study
发布2020-01-10 17:09:56
3310
发布2020-01-10 17:09:56
举报
文章被收录于专栏:python3python3

python多进程的主要方式有两种,一种是使用os模块的fork方法,另一种方法是使用multiprocessing模块,这两种方法的就别在于前者仅适用于Unix/Linux操作系统,后者是跨平台的实现方式

1.使用fork方法实现
- fork方法来自Unix/Linux操作系统中提供的一个fork系统调用,这个方法非常特殊,普通方法都是调用一次,返回一次,而fork方法是调用一次,返回两次,原因在于操作系统将当前进程(父进程)复制出一份进程(子进程),这两个进程几乎完全相同,所以fork在两个进程中都返回,子进程中返回0,父进程中返回子进程的id,如以下代码
  import os

   if __name__ == "__main__":
       print("current Process (%s) start ..."%(os.getpid()))
       pid = os.fork()
       if pid < 0:
           print("error in fork")
       elif pid == 0:
           print("I am a child process (%s) and my parent process os(%s)"%(os.getpi    d(),os.getppid()))
       else:
          print("I (%s) created a child process (%s)."%(os.getpid(),pid))
  • 运行结果如下: current Process (21039) start … I (21039) created a child process (21040). [root@izhqmn61154vmrz pythonDemo]# I am a child process (21040) and my parent process os(1) 可以看出fork创建了一个新进程,用pid区分父进程和子进程,分别在其中运行对应的任务
2.使用multiprocessing模块实现
 - multiprocessing提供了一个Process类来描述一个进程对象,创建子进程时,只需要传入一个执行函数和函数的参数,即可以完成一个Procees实例的创建,调用start方法启动,用join()方法让主线程等待线程执行完毕
  from multiprocessing import Process
   import os

   def run_process(name):
     print("Child process %s (%s) Running"%(name,os.getpid()))

   if __name__ == "__main__":
     print("Parent process %s."%(os.getpid()))
     for i in range(5):
         p = Process(target=run_process,args=(str(i),))
         print("Process will start.")
         p.start()
    p.join()
    print("Process end")
  • 运行结果如下 Parent process 21073. Process will start. Process will start. Process will start. Process will start. Process will start. Child process 2 (21076) Running Child process 3 (21077) Running Child process 0 (21074) Running Child process 4 (21078) Running Process end Child process 1 (21075) Running
使用线程池
- multiprocessing模块提供了一个Pool类来代表进程池对象,它可以提供指定数量的进程供用户调用,默认大小是CPU的核数.当有新的请求提交到Pool时,如果池还没有满,就会提供一个新的进程来执行该请求;但如果池中的进程数已经达到最大值,请求就会等待,知道池中有进程结束,才会提供新的进程来处理
  import os,time,random

   def run_task(name):
     print("Task %s (pid = %s) is running..."%(name,os.getpid()))
     time.sleep(random.random()*3)
     print("Task %s end."%(name))

   if __name__ =="__main__":
     print("Current process %s."%os.getpid())
     p = Pool(processes=3)
     for i in range(5):
       p.apply_async(run_task,args=(i,))
     print("Waiting for all subprocesses done...")
     p.close()
     p.join()
     print("All subprocesses done")
  • 运行结果如下 Current process 21127. Waiting for all subprocesses done… Task 0 (pid = 21129) is running… Task 1 (pid = 21130) is running… Task 2 (pid = 21128) is running… Task 1 end. Task 3 (pid = 21130) is running… Task 2 end. Task 4 (pid = 21128) is running… Task 4 end. Task 0 end. Task 3 end. All subprocesses done

可以看出,由于制定了进程池中进程的数量为3,当调用的线程多余3个时,会阻塞

本文参与 腾讯云自媒体分享计划,分享自作者个人站点/博客。
原始发表:2019-08-22 ,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体分享计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • 1.使用fork方法实现
  • 2.使用multiprocessing模块实现
    • 使用线程池
    领券
    问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档