前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >Python3简单实现多任务(多进程篇)第一种:进程池快速创建(适合创建大量进程,简单,推荐!)第二种实现方式(Process创建进程,需要手动管理)第三种实现方式(windows无法使用,只能在类U

Python3简单实现多任务(多进程篇)第一种:进程池快速创建(适合创建大量进程,简单,推荐!)第二种实现方式(Process创建进程,需要手动管理)第三种实现方式(windows无法使用,只能在类U

作者头像
zhaoolee
发布2018-04-19 10:20:31
1.3K0
发布2018-04-19 10:20:31
举报
文章被收录于专栏:木子昭的博客木子昭的博客

python多进程实现多任务 优点:稳定性高;提升程序执行效率

第一种:进程池快速创建(适合创建大量进程,简单,推荐!)

image.png

代码语言:javascript
复制
from multiprocessing import Pool    # 导入进程池模块
import os    # 导入系统模块
import time    #导入时间模块
import random

def to_work(num):

    # 打印进程号
    print("----开始执行任务%d,进程的pid为%d,父进程的pid为%d----"%(num, os.getpid(), os.getppid()))
    # 模拟延时 random.random() 生成0-1之间的数
    time.sleep(random.random())
    print("第%d号进程完成任务%d第一阶段"%(os.getpid(),num))
    time.sleep(random.random())
    print("第%d号进程完成任务%d第二阶段"%(os.getpid(),num))
    time.sleep(random.random())
    print("第%d号进程完成任务%d第三阶段"%(os.getpid(),num))
    time.sleep(random.random())
    print("----任务%d执行完毕----"%(num))


def main():
    # 创建一个最多开启3进程的进程池
    po = Pool(3)
    # 将5个任务添加到进程池
    for i in range(1, 6):
        # async非堵塞添加,to_work为参数名,i为传递的参数,单个参数一定要加逗号!一定要加逗号!一定要加逗号!
        po.apply_async(to_work,(i,))
    
    print("----开始----")

    # 关闭进程池,不再接收新的任务,开始执行任务
    po.close()

    # 主进程等待所有子进程结束
    po.join()
    print("----结束----")



if __name__ == "__main__":
    main()

第二种实现方式(Process创建进程,需要手动管理)

image.png

代码语言:javascript
复制
from multiprocessing import Process
import os
import time
import random


def to_work(num):

    # 打印进程号
    print("----开始执行第%d个子进程,进程的pid为%d,父进程的pid为%d----"%(num, os.getpid(), os.getppid()))
    # 模拟延时 random.random() 生成0-1之间的数
    time.sleep(random.random())
    print("第%d号进程完成第一阶段任务"%(os.getpid()))
    time.sleep(random.random())
    print("第%d号进程完成任第二阶段任务"%(os.getpid()))
    time.sleep(random.random())
    print("第%d号进程完成第三阶段任务"%(os.getpid()))
    time.sleep(random.random())
    print("----第%d个子进程执行完毕----"%(num))


def main():
    # 创建子进程
    son_p1 = Process(target=to_work, args={1,})
    son_p2 = Process(target=to_work, args={2,})
    print("----开始----")
    # 开启子进程
    son_p1.start()
    son_p2.start()
    # 等待子进程结束
    son_p1.join()
    son_p2.join()

    print("----结束----")



if __name__ == "__main__":
    main()

第三种实现方式(windows无法使用,只能在类Unix平台使用,可用于制作"fork炸弹")

image.png

代码语言:javascript
复制
import os
import time
import random

def work_fork(result):
    if result == 0:
        print("子进程%d开始执行,父进程pid为%d"%(os.getpid(),os.getppid()))
        time.sleep(random.random())
        print("子进程任务1")
        time.sleep(random.random())
        print("子进程任务2")
        time.sleep(random.random())
        print("子进程任务3")
        time.sleep(random.random()*2)
        print("子进程任务4")
        time.sleep(random.random())
        print("子进程函数执行完毕")
    else:
        print("父进程开始执行,进程pid为%d,祖先进程pid为%d"%(os.getpid(),os.getppid()))
        time.sleep(random.random())
        print("父进程任务1")
        time.sleep(random.random())
        print("父进程任务2")
        time.sleep(random.random()*2)
        print("父进程任务3")
        time.sleep(random.random())
        print("父进程任务4")
        time.sleep(random.random())
        print("父进程函数执行完毕")


def main():
    result = os.fork()
    work_fork(result)
    print("主进程pid为%d"%(os.getpid()))


if __name__ == "__main__":
    main()

附:fork炸弹

代码语言:javascript
复制
import os

while True:
    os.fork()
本文参与 腾讯云自媒体分享计划,分享自作者个人站点/博客。
原始发表:2017.08.08 ,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体分享计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • 第一种:进程池快速创建(适合创建大量进程,简单,推荐!)
  • 第二种实现方式(Process创建进程,需要手动管理)
  • 第三种实现方式(windows无法使用,只能在类Unix平台使用,可用于制作"fork炸弹")
    • 附:fork炸弹
    领券
    问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档