专栏首页python3python3多进程实现

python3多进程实现

python多进程的主要方式有两种,一种是使用os模块的fork方法,另一种方法是使用multiprocessing模块,这两种方法的就别在于前者仅适用于Unix/Linux操作系统,后者是跨平台的实现方式

1.使用fork方法实现

- fork方法来自Unix/Linux操作系统中提供的一个fork系统调用,这个方法非常特殊,普通方法都是调用一次,返回一次,而fork方法是调用一次,返回两次,原因在于操作系统将当前进程(父进程)复制出一份进程(子进程),这两个进程几乎完全相同,所以fork在两个进程中都返回,子进程中返回0,父进程中返回子进程的id,如以下代码
  import os

   if __name__ == "__main__":
       print("current Process (%s) start ..."%(os.getpid()))
       pid = os.fork()
       if pid < 0:
           print("error in fork")
       elif pid == 0:
           print("I am a child process (%s) and my parent process os(%s)"%(os.getpi    d(),os.getppid()))
       else:
          print("I (%s) created a child process (%s)."%(os.getpid(),pid))
  • 运行结果如下: current Process (21039) start … I (21039) created a child process (21040). [root@izhqmn61154vmrz pythonDemo]# I am a child process (21040) and my parent process os(1) 可以看出fork创建了一个新进程,用pid区分父进程和子进程,分别在其中运行对应的任务

2.使用multiprocessing模块实现

 - multiprocessing提供了一个Process类来描述一个进程对象,创建子进程时,只需要传入一个执行函数和函数的参数,即可以完成一个Procees实例的创建,调用start方法启动,用join()方法让主线程等待线程执行完毕
  from multiprocessing import Process
   import os

   def run_process(name):
     print("Child process %s (%s) Running"%(name,os.getpid()))

   if __name__ == "__main__":
     print("Parent process %s."%(os.getpid()))
     for i in range(5):
         p = Process(target=run_process,args=(str(i),))
         print("Process will start.")
         p.start()
    p.join()
    print("Process end")
  • 运行结果如下 Parent process 21073. Process will start. Process will start. Process will start. Process will start. Process will start. Child process 2 (21076) Running Child process 3 (21077) Running Child process 0 (21074) Running Child process 4 (21078) Running Process end Child process 1 (21075) Running
使用线程池
- multiprocessing模块提供了一个Pool类来代表进程池对象,它可以提供指定数量的进程供用户调用,默认大小是CPU的核数.当有新的请求提交到Pool时,如果池还没有满,就会提供一个新的进程来执行该请求;但如果池中的进程数已经达到最大值,请求就会等待,知道池中有进程结束,才会提供新的进程来处理
  import os,time,random

   def run_task(name):
     print("Task %s (pid = %s) is running..."%(name,os.getpid()))
     time.sleep(random.random()*3)
     print("Task %s end."%(name))

   if __name__ =="__main__":
     print("Current process %s."%os.getpid())
     p = Pool(processes=3)
     for i in range(5):
       p.apply_async(run_task,args=(i,))
     print("Waiting for all subprocesses done...")
     p.close()
     p.join()
     print("All subprocesses done")
  • 运行结果如下 Current process 21127. Waiting for all subprocesses done… Task 0 (pid = 21129) is running… Task 1 (pid = 21130) is running… Task 2 (pid = 21128) is running… Task 1 end. Task 3 (pid = 21130) is running… Task 2 end. Task 4 (pid = 21128) is running… Task 4 end. Task 0 end. Task 3 end. All subprocesses done

可以看出,由于制定了进程池中进程的数量为3,当调用的线程多余3个时,会阻塞

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • Python实现简单登陆验证(文件操作)

           1.用户名的验证,首先对存储用户名和密码的信息读取,然后再把输入的用户名和从文件中读取的用户名进行比对,如果比对成功则进行下一步的密码验证,如果没...

    用户2398817
  • python3 猜数字游戏

    用户2398817
  • 第十八天- 类型判断 函数和方法判断 反

    用户2398817
  • Python入门,从19个语法开始!

    Python简单易学,但又博大精深。许多人号称精通Python,却不会写Pythonic的代码,对很多常用包的使用也并不熟悉。学海无涯,我们先来了解一些Pyth...

    小小詹同学
  • Python入门,从19个语法开始!

    Python简单易学,但又博大精深。许多人号称精通Python,却不会写Pythonic的代码,对很多常用包的使用也并不熟悉。学海无涯,我们先来了解一些Pyth...

    昱良
  • Python入门,从19个语法开始!

    Python现在非常火,语法简单而且功能强大,很多同学都想学Python!所以小的给各位看官们准备了高价值Python学习视频教程及相关电子版书籍,欢迎前来领取...

    python学习教程
  • 先从Python的这19个易错语法开始学习!

    Python简单易学,但又博大精深。许多人号称精通Python,却不会写Pythonic的代码,对很多常用包的使用也并不熟悉。学海无涯,我们先来了解一些Pyth...

    1480
  • python一些常用小技巧

    这个方法可以将布尔型的值去掉,例如(False,None,0,“”),它使用 filter() 函数。

    赵云龙龙
  • Python高级特性

    以上几个特性我会针对应用场景,使用注意事项,应用举例几个维度分别进行讲解,如果有同学对某个特性特别熟悉则可以直接跳过。

    IT派
  • 20190105-打印字母C,H,N,口

    *             * *   *        * *     *      * *       *    * *            *

    用户2398817

扫码关注云+社区

领取腾讯云代金券