专栏首页技术栈大杂烩Python: Windows下用multiprocessing的深坑

Python: Windows下用multiprocessing的深坑

今天在测试多进程时, 发现了一个问题

测试代码:

#coding: utf8
from multiprocessing import Process 
import os 
print('Global_print', os.getpid())
def run_proc(name):

    print('Run child process %s (%s)…' % (name, os.getpid()))
if __name__=='__main__': 
    p = Process(target=run_proc, args=('test',)) 
    print(os.getpid()) 
    p.start() 

上述代码不复杂, 肉眼就能猜出八九分: 父进程来执行了首尾的两个print, 而子进程则只执行run_proc ,

下面就这针对这一个猜测来验证:

LInux下,

'Global_print', 14382
14382
Run child process test (14383)…

很符合我们的预期, 因为两次os.getpid()得到了一样的结果, 而子进程的那句输出也从侧面验证了另外两句print是父进程执行的.

接下来看下Windows:

What ???...黑人问号..这是什么鬼..分分钟被打脸...

在测试了debian/centos等等 unix/linux不同发行版和不同Python版本, 表现均为一致, 也就是上面Linux的输出.

然而..在Windows下也也是很顽固的和上面的输出不一致..

总所周知, WindowsLinux在实现多进程上面是有点区别的..

于是, 感觉应该是Windows自身的问题, 在咨询了大佬之后, 得知官网早已有对这块进行说明了:

传送门: https://docs.python.org/2/lib...

摘抄资料如下:

简单的意思应该是下面这样:

因为Windows缺乏linix那种fork, 所以它会有一些额外的限制:

  • 不管是绑定还是未绑定的方法, 都不要直接作为参数传给Process初始化的target, 相反应该要用普通的函数代替
  • 子进程在访问全局变量时, 可能会与父进程的值不同. ( 模块级别的常量没这问题 )
  • 开启新Python解析器或者创建新process时, 确定主模块能够安全的导入.

而刚才的那个问题, 就是因为没有注意到第三点, 所以导致了意想不到的的副作用, 应该用下面的写法取代上面的不安全写法:

from multiprocessing import Process, freeze_support

def foo():
    print 'hello'

if __name__ == '__main__':
    freeze_support()
    p = Process(target=foo)
    p.start()

果然..Windows无处不在都在挖坑....

欢迎各位大神指点交流, QQ讨论群: 258498217

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • Linux: 关于 SIGCHLD 的更多细节

    对该机制有稍微了解的话,不难得知一个关键因素:SIGCHLD。正是这个SIGCHLD起到了通知的作用,所以后面的处理也是基于它而实现。

    Lin_R
  • Linux: Nginx proxy_pass域名解析引发的故障

    部署细节:   两容器均部署在同一机器上,通过 docker-compose 编排,并且通过link方式链接。

    Lin_R
  • Python: 受限制的 "函数调用"

    函数功能简单明了, 对于结果, 大家应该也不会有太大的异议:func分别是取得全局命名空间中a的值和使用内置命名空间中的函数id获取了a的地址. 熟悉Pytho...

    Lin_R
  • Nginx技术总结之二——Nginx进程模型

    master 进程主要用来管理 worker 进程,包含:接收来自外界的信号,向各 worker 进程发送信号,监控 worker 进程的运行状态,当异常情况下...

    剑影啸清寒
  • 还你系统空间的 Python 小程序

    Windows 系统用久了,磁盘中就会产生大量的“垃圾”文件。这些文件有的是程序使用过的临时文件,有的是操作记录和日志信息等。因为往往不能被有效地清理干净,越积...

    Crossin先生
  • python入门(三) 一个点球小游戏

    星辉
  • Javapoet源码解析

    github:https://github.com/square/javapoet

    yuanyuan
  • 哈佛大学报告:人工智能与国家安全(四)AI变革潜力之信息优势

    应美国情报高级研究计划局(IARPA)的要求,哈佛大学肯尼迪政治学院贝尔弗科学与国际事务中心与2017年7月发布《人工智能与国家安全》报告,分析人工智能(AI)...

    企鹅号小编
  • 2018弱密码TOP 100出炉:123456再次卫冕

    2018年眼看着就要结束了,SplashData 一年一度的弱密码TOP 100榜单也终于公布了。依照前几年弱密码榜单的情况来看,被使用最多的弱密码一般也不会发...

    FB客服
  • 李飞飞的年终总结:AI 承载了巨大的梦想,所以它还需要更多的支持和参与

    雷锋网 AI 科技评论按:2017 年就快要结束了,欧美国家也马上就要进入圣诞节-元旦小长假了。在期待假期来临的同时,许多人也写下了他们对 2017 年的总结。...

    企鹅号小编

扫码关注云+社区

领取腾讯云代金券