从 0 到 1 优雅的实现PHP多进程管理

_        
                      | |       
_ __   __ _ _ __ _   _| |_ ___  
| '_ \ / _` | '__| | | | __/ _ \ 
| | | | (_| | |  | |_| | || (_) |
|_| |_|\__,_|_|   \__,_|\__\___/ .TIGERB.cn

An object-oriented multi process manager for PHP

Version: 0.1.0

业务场景

在我们实际的业务场景中(PHP技术栈),我们可能需要定时或者近乎实时的执行一些业务逻辑,简单的我们可以使用unix系统自带的crontab实现定时任务,但是对于一些实时性要求比较高的业务就不适用了,所以我们就需要一个常驻内存的任务管理工具,为了保证实时性,一方面我们让它一直执行任务(适当的睡眠,保证cpu不被100%占用),另一方面我们实现多进程保证并发的执行任务。

目的

综上所述,我的目标就是:实现基于php-cli模式实现的master-worker多进程管理工具。其次,“我有这样一个目标,我是怎样一步步去分析、规划和实现的”,这是本文的宗旨。

备注:下文中,父进程统称为master,子进程统称为worker。

分析

我们把这一个大目标拆成多个小目标去逐个实现,如下:

1、多进程

  • 目的:一个master fork多个worker
  • 现象:所有worker的ppid父进程ID为当前master的pid

2、master控制worker

  • 目的:master通知worker,worker接收来自master的消息

3、master接收信号

  • 目的:master接收并自定义处理来自终端的信号
多进程

PHP fork进程的方法 pcntl_fork, 这个大家应该有所了解,如果不知道的简单google/bing一下应该很容易找到这个函数。接着FTM, 我们看看 pcntl_fork这个函数的使用方式大致如下:

$pid = pcntl_fork(); // pcntl_fork 的返回值是一个int值
                     // 如果$pid=-1 fork进程失败
                     // 如果$pid=0 当前的上下文环境为worker
                     // 如果$pid>0 当前的上下文环境为master,这个pid就是fork的worker的pid

接着看代码:

$pid = pcntl_fork();    
switch ($pid) {
  case -1:
    // fatal error 致命错误 所有进程crash掉
    break;

  case 0:
    // worker context
    exit; // 这里exit掉,避免worker继续执行下面的代码而造成一些问题
    break;

  default:
    // master context
    pcntl_wait($status); // pcntl_wait会阻塞,例如直到一个子进程exit
    // 或者 pcntl_waitpid($pid, $status, WNOHANG); // WNOHANG:即使没有子进程exit,也会立即返回
    break;
}

我们看到master有调用 pcntl_wait或者 pcntl_waitpid函数,为什么呢?首先我们在这里得提到两个概念,如下:

  • 孤儿进程:父进程挂了,子进程被pid=1的init进程接管(wait/waitpid),直到子进程自身生命周期结束被系统回收资源和父进程采取相关的回收操作
  • 僵尸进程:子进程exit退出,父进程没有通过wait/waitpid获取子进程状态,子进程占用的进程号等描述资源符还存在,产生危害:例如进程号是有限的,无法释放进程号导致未来可能无进程号可用

所以, pcntl_wait或者 pcntl_waitpid的目的就是防止worker成为僵尸进程(zombie process)。

除此之外我们还需要把我们的master挂起和worker挂起,我使用的的是while循环,然后 usleep(200000)防止CPU被100%占用。

最后我们通过下图(1-1)来简单的总结和描述这个多进程实现的过程:

master控制worker

上面实现了多进程和多进程的常驻内存,那master如何去管理worker呢?答案:多进程通信。话不多说google/bing一下,以下我列举几种方式:

  • 命名管道: 感兴趣
  • 队列: 个人感觉和业务中使用redis做消息队列思路应该一致
  • 共享内存: 违背“不要通过共享内存来通信,要通过通信来实现共享”原则
  • 信号: 承载信息量少
  • 套接字: 不熟悉

所以我选择了“命名管道”的方式。我设计的通信流程大致如下:

  • step 1: 创建worker管道
  • step 2: master写消息到worker管道
  • step 3: worker读消息从worker管道

接着还是逐个击破,当然话不多说还是google/bing一下。 posix_mkfifo创建命名管道、 fopen打开文件(管道以文件形式存在)、 fread读取管道、 fclose关闭管道就呼啸而出,哈哈,这样我们就能很容易的实现我们上面的思路的了。接着说说我在这里遇到的问题: fopen阻塞了,导致业务代码无法循环执行,一想不对啊,平常 fopen普通文件不存在阻塞行为,这时候二话不说FTM搜 fopen,crtl+f页面搜“block”,重点来了:

fopen() will block if the file to be opened is a fifo. This is true whether it's opened in "r" or "w" mode. (See man 7 fifo: this is the correct, default behaviour; although Linux supports non-blocking fopen() of a fifo, PHP doesn't).

翻译下,大概意思就是“当使用fopen的r或者w模式打开一个fifo的文件,就会一直阻塞;尽管linux支持非阻塞的打开fifo,但是php不支持。”,得不到解决方案,不支持,感觉要放弃,一想这种场景应该不会不支持吧,再去看看 posix_mkfifo,结果喜出望外:

<?php
  $fh=fopen($fifo, "r+"); // ensures at least one writer (us) so will be non-blocking
  stream_set_blocking($fh, false); // prevent fread / fwrite blocking
?>

The "r+" allows fopen to return immediately regardless of external  writer channel.

结论使用“r+”,同时我们又知道了使用 stream_set_blocking防止紧接着的 fread阻塞。接着我们用下图(1-2)来简单的总结和描述这个master-worker通信的方式。

master接收信号

最后我们需要解决的问题就是master怎么接受来自client的信号,google/bing结论:

master接收信号 -> pcntl_signal注册对应信号的handler方法 -> pcntl_signal_dispatch() 派发信号到handler

如下图(1-3)所示,

其他

接着我们只要实现不同信号下master&worker的策略,例如worker的重启等。这里需要注意的就是,当master接受到重启的信号后,worker不要立即exit,而是等到worker的业务逻辑执行完成了之后exit。具体的方式就是:

master接收reload信号 -> master把reload信号写worker管道 -> worker读取到reload信号 -> worker添加重启标志位 -> worker执行完业务逻辑后且检测到重启的标志位后exit

建模

上面梳理完我们的实现方式后,接着我们就开始码代码了。码代码之前进行简单的建模,如下:

进程管理类Manager

- attributes
  + master: master对象
  + workers: worker进程对象池
  + waitSignalProcessPool: 等待信号的worker池
  + startNum: 启动进程数量
  + userPasswd: linux用户密码
  + pipeDir: 管道存放路径
  + signalSupport: 支持的信号
  + hangupLoopMicrotime: 挂起间隔睡眠时间
- method
  + welcome: 欢迎于
  + configure: 初始化配置
  + fork: forkworker方法
  + execFork: 执行forkworker方法
  + defineSigHandler: 定义信号handler
  + registerSigHandler: 注册信号handler
  + hangup: 挂起主进程

进程抽象类Process

- attributes
  + type: 进程类型 master/worker
  + pid: 进程ID
  + pipeName: 管道名称 
  + pipeMode: 管道模式
  + pipeDir: 管道存放路径
  + pipeNamePrefix: 管道名称前缀
  + pipePath: 管道生成路径
  + readPipeType: 读取管道数据的字节数
  + workerExitFlag: 进程退出标志位
  + signal: 当前接受到的信号
  + hangupLoopMicrotime: 挂起间隔睡眠时间
- method
  + hangup: 挂起进程(抽象方法)
  + pipeMake: 创建管道
  + pipeWrite: 写管道
  + pipeRead: 读管道
  + clearPipe: 清理管道文件
  + stop: 进程exit

master实体类MasterProcess

- attributes
  + 
- method
  + hangup: 挂起进程

worker实体类MasterProcess

- attributes
  + 
- method
  + dispatchSig: 定义worker信号处理方式

最后我们需要做的就是优雅的填充我们的代码了。

最后

项目地址 https://github.com/TIGERB/naruto

个人知识还有很多不足,如果有写的不对的地方,希望大家及时指正。

THX~

原文:https://segmentfault.com/a/1190000012234031

觉得本文对你有帮助?请分享给更多人

原文发布于微信公众号 - 程序员宝库(chengxuyuanbaoku)

原文发表时间:2017-12-12

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏数据和云

浅谈TimesTen内存数据库的结构

作者介绍 ? 朱亮 云和恩墨技术专家,6年专职oracle dba生涯先后服务于保险、金融、电信、百货等客户 Oracle TimesTen In-Memor...

42580
来自专栏web编程技术分享

jdk安装,环境变量配置(一条龙服务)

34650
来自专栏北京马哥教育

最全 Linux 磁盘管理基础知识全汇总

运维行业正在变革,推荐阅读:30万年薪Linux运维工程师成长魔法 一、存储设备的挂载和卸载 存储设备的挂载和卸载常用操作命令:fdisk -l、df、du、...

43880
来自专栏施炯的IoT开发专栏

Windows 10 IoT Serials 6 - 如何修改IoTStartupOnBoot.cmd文件

    使用Windows 10 IoT Core系统的朋友应该会比较熟悉IoTStartupOnBoot.cmd文件,该文件是系统启动以后加载的批处理文件,一...

27180
来自专栏java思维导图

架构师详解:Nginx 架构

原文链接:https://my.oschina.net/u/3770281/blog/1802493

16320
来自专栏difcareer的技术笔记

Android启动过程分析-从按下电源键到第一个用户进程[转载]正文

对Android最初的启动过程一直没有清晰的认识,看到一篇好文,转载一下: http://blog.jobbole.com/67931/ http://ww...

8220
来自专栏北京马哥教育

Python之包管理工具快速入门

学Python最简单的方法是什么?推荐阅读:30万年薪Python开发工程师成长魔法 在Python环境中已经有很多成熟的包,可以通过安装这些包来扩展我们的程序...

30250
来自专栏BeJavaGod

redis 一二事 - 搭建集群缓存服务器

在如今并发的环境下,对大数据量的查询采用缓存是最好不过的了,本文使用redis搭建集群 (个人喜欢redis,对memcache不感冒) redis是3.0后增...

34730
来自专栏wblearn

我的博客搭建之git的使用

前天我的github博客搭建好啦,并在本地写了一篇文章<a href="https://wblearn.github.io/2016/12/23/one/"ta...

7710
来自专栏帅小子的日常

redis集群的搭建

39250

扫码关注云+社区

领取腾讯云代金券