前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >玩转企业常见应用与服务系列(十一):进程管理工具 Supervisor 详解

玩转企业常见应用与服务系列(十一):进程管理工具 Supervisor 详解

作者头像
民工哥
发布2023-11-25 15:07:32
3660
发布2023-11-25 15:07:32
举报

前面介绍了企业常用服务 NFS FTP DHCPDNS SambalsyncdPostfixSquidVarnishexpect 相关的知识点,今天我将详细的为大家介绍进程管理工具 Supervisor相关知识,希望大家能够从中收获多多!如有帮助,请点在看、转发朋友圈支持一波!!!

Supervisor 进程管理工具

supervisor是一个进程管理工具,使用 python 开发的一个 C/S 服务,是 Linux/Unix 系统下的一个进程管理工具,可以很方便的监听、启动、停止、重启一个或多个进程。用 supervisor 管理的进程,当一个进程意外被杀死,supervisor监听到进程死后,会自动将其重启启动,这样我们就很方便的实现了进程的自动恢复功能。

supervisord管理的进程必须由supervisord来启动,并且管理的程序必须要是非Daemon程序,Supervisor会帮你把它转化为Daemon程序。比如想要使用Supervisor来管理Nginx进程,就必须在Nginx配置文件中加入 daemon off让Nginx以非Daemon方式运行。

supervisor服务运行环境说明

supervisor可以运行在大多数类unix系统,但是不能运行在任何windows系统,supervisor运行在python环境中,可以在python2(2.7)版本上工作、python3(3.4)版本上工作、以及更高python版本上。

Supervisor 的特点

简单

Supervisor 通过配置一个简单易学的ini风格的配置文件进行配置。他提供了许多单进程的选项,使得自动重启失败的进程和自动日志轮换变革更加轻松。

集中化

Supervisor 提供了一个统一的地方来启动、停止和监控你的进程。进程可以单独控制,也可以分组控制。通过配置 Supervisor,你可以使用本地命令、远程命令或者可视化界面来管理你的进程。

高效

Supervisor 通过 fork/exec 来启动子进程。子进程没有守护进程,所以当进程终止时,操作系统会立即向 Supervisor 发出信号,这与某些依赖麻烦的 PID 文件和定期轮询来重新启动失败进程的解决方案有所不同。

可扩展

Supervisor 有一个简单的事件通知协议,用任何语言编写的程序都可以用来监视它,它还有一个用于控制的 XML-RPC 接口,并且也留了一个 python 切点,python 开发人员可以很容易的对他进行扩展。

兼容性

Supervisor 适用于除了 windows 之外的任何系统,比如:Linux, Mac OS X, Solaris, 和 FreeBSD。它完全用 Python 编写,因此安装不需要 C 编译器。

稳定性

虽然目前 Supervisor 的开发非常活跃,但它并不是新软件。Supervisor 已经存在多年,并且已经在许多服务器上使用。

Supervisor 组件

supervisord

supervisord 是 Supervisor 服务名。它负责启动子进程,响应来自客户端的命令,重启崩溃或者已退出的子进程,记录子进程标准输出和错误输出,以及生成和处理与子进程生命周期中对应的事件。配置文件一般位于/etc/supervisord.conf中。

supervisorctl

supervisorctl 是 Supervisor 提供的命令行客户端,它为 supervisord 提供了一个类似于 shell 的接口。通过 supervisorctl,用户可以连接到不同的 supervisord 进程、获取supervisord 控制的子进程的状态、停止和启动子进程以及获取正在运行的 supervisord 进程的列表。命令行客户端通过 UNIX 套接字或 Internet (TCP) 套接字与服务器进行通信。

Web Server

当我们配置了inet_http_server之后,就可以通过浏览器访问http://localhost:9001/查看和控制进程的状态。

XML-RPC 接口

为 Web UI 提供服务的同一 HTTP 服务器提供 XML-RPC 接口,可用于询问和控制管理程序及其运行的程序。请参阅 XML-RPC API 文档。

Supervisor 安装

Supervisor 可以运行在 Linux、Mac OS X 上,如前所述,,supervisor 是 Python 编写的, 所以安装起来也很方便, 可以直接用pip或是用yum安装, 如果是 Ubuntu 系统, 还可以使用 apt-get 安装:

代码语言:javascript
复制
$ pip install supervisor
$ yum install supervisor
$ sudo apt-get install supervisor
配置

Supervisor 相当强大, 提供了很丰富的功能, 不过大部分情况下只需要用到其中一小部分。安装完成之后, 可以编写配置文件, 来满足自己的需求。为了方便, 一般把配置分成两部分: supervisord本身的配置(也相当于全局配置)和待管理的应用程序自己的配置。

supervisor 是一个C/S模型的程序, supervisord是server端, 对应的有client端supervisorctl

supervisord的配置及启动

首先来看 supervisord 的配置文件。安装完supervisor之后, 可以运行echo_supervisord_conf 命令输出默认的配置项, 也可以将这些输出重定向到一个配置文件里作为模板:

去除里面大部分注释和“不相关”的部分, 我们可以先看这些配置:

代码语言:javascript
复制
[unix_http_server]
file=/tmp/supervisor.sock   ; UNIX socket 文件, supervisorctl 会使用
;chmod=0700                 ; socket 文件的 mode, 默认是 0700
;chown=nobody:nogroup       ; socket 文件的 owner, 格式:  uid:gid

;[inet_http_server]         ; HTTP 服务器, 提供 web 管理界面
;port=127.0.0.1:9001        ; Web 管理后台运行的 IP 和端口, 如果开放到公网, 需要注意安全性
;username=user              ; 登录管理后台的用户名
;password=123               ; 登录管理后台的密码

[supervisord]
logfile=/tmp/supervisord.log ; 日志文件, 默认是 $CWD/supervisord.log
logfile_maxbytes=50MB        ; 日志文件大小, 超出会 rotate, 默认 50MB
logfile_backups=10           ; 日志文件保留备份数量默认 10
loglevel=info                ; 日志级别, 默认 info, 其它: debug,warn,trace
pidfile=/tmp/supervisord.pid ; pid 文件
nodaemon=false               ; 是否在前台启动, 默认是 false, 即以 daemon 的方式启动
minfds=1024                  ; 可以打开的文件描述符的最小值, 默认 1024
minprocs=200                 ; 可以打开的进程数的最小值, 默认 200

; the below section must remain in the config file for RPC
; (supervisorctl/web interface) to work, additional interfaces may be
; added by defining them in separate rpcinterface: sections
[rpcinterface:supervisor]
supervisor.rpcinterface_factory = supervisor.rpcinterface:make_main_rpcinterface

[supervisorctl]
; 通过 UNIX socket 连接 supervisord, 路径与 unix_http_server 部分的 file 一致
serverurl=unix:///tmp/supervisor.sock 
通过 HTTP 的方式连接 supervisord
;serverurl=http://127.0.0.1:9001 ; 

; 包含其他的配置文件, 即待管理的应用程序各自的配置, 可以是对这个文件而言的相对路径.
[include]
; 可以是 *.conf 或 *.ini
files = relative/directory/*.ini    

我们把上面这部分配置保存到/etc/supervisord.conf(或其他任意有权限访问的文件), 然后启动 supervisord(通过-c选项指定配置文件路径, 如果不指定会按照这个顺序查找配置文件: CWD/supervisord.conf, CWD/etc/supervisord.conf, /etc/supervisord.conf):

代码语言:javascript
复制
$ supervisord -c /etc/supervisord.conf
应用程序配置

上面我们已经把 supervisrod 运行起来了, 但是还没有被管理的进程. 现在可以添加我们要管理的进程的配置文件. 可以把所有配置项都写到 /etc/supervisord.conf 文件里, 但并不推荐这样做, 而是通过 include 的方式把不同的程序(组)写到不同的配置文件里。

为了举例, 我们新建一个目录/etc/supervisor.d/用于存放这些配置文件, 相应的, 把/etc/supervisord.confinclude部分的的配置修改一下:

代码语言:javascript
复制
[include]
files = /etc/supervisor/*.conf

假设有个用 Python 和 Flask 框架编写的web应用, 取名usercenter, 用gunicorn做web服务器. 工程目录位于/home/leon/projects/usercenter, gunicorn配置文件为gunicorn.py, WSGI callablewsgi.py里的app属性. 所以直接在命令行启动该web应用的方式可能是这样的:

代码语言:javascript
复制
$ cd /home/leon/projects/usercenter
$ gunicorn -c gunicorn.py wsgi:app

现在编写一份配置文件, 让supervisord管理这个进程(需要注意: 用 supervisord 管理时, gunicorn自己的daemon选项需要设置为False):

代码语言:javascript
复制
[program:usercenter]
; 程序的启动目录, 某些应用程序必需要进入到工程目录启动才可以, 因为某些模块是工程自定义的, 并未加入到系统中的模块搜索路径中.
directory = /home/leon/projects/usercenter 
; 启动命令, 可以看出与手动在命令行启动的命令是一样的
command = gunicorn -c gunicorn.py wsgi:app  
autostart = true     ; 在 supervisord 启动的时候此web应用也自动启动
startsecs = 5        ; 启动 5 秒后没有异常退出, 就当作已经正常启动了
autorestart = true   ; 程序异常退出后自动重启
startretries = 3     ; 启动失败自动重试次数, 默认是 3
user = leon          ; 用哪个用户启动
redirect_stderr = true  ; 把 stderr 重定向到 stdout, 默认 false
stdout_logfile_maxbytes = 20MB  ; stdout 日志文件大小, 默认 50MB
stdout_logfile_backups = 20     ; stdout 日志文件备份数
; stdout 日志文件, 需要注意当指定目录不存在时无法正常启动, 所以需要手动创建目录(supervisord 会自动创建日志文件)
stdout_logfile = /var/log/usercenter.log

; 可以通过 environment 来添加需要的环境变量, 一种常见的用法是修改 PYTHONPATH
; environment=PYTHONPATH=$PYTHONPATH:/path/to/somewhere

一份supervisord需要的配置文件至少需要一个 [program:x] 部分的配置, 来告诉supervisord需要管理那个进程. [program:x] 块中的x表示进程名称, 可以自定义, 这个值会在客户端(supervisorctl或web界面)显示, 在supervisorctl中可以通过这个值来对程序进行startrestartstop等操作。

客户端操作-supervisorctl

supervisorctlsupervisord的一个命令行客户端工具, 用以查看被管理的应用程序列表, 状态, 及对其执行操作等. 执行此命令时需要指定与supervisord使用同一份配置文件, 否则与supervisord一样按照顺序查找配置文件。

代码语言:javascript
复制
$ supervisorctl -c /etc/supervisord.conf

上面这个命令会进入supervisorctl的shell界面, 然后可以执行不同的命令了:

代码语言:javascript
复制
status    # 查看程序状态
stop usercenter   # 关闭 usercenter 程序
start usercenter  # 启动 usercenter 程序
restart usercenter    # 重启 usercenter 程序
reread    # 读取有更新(增加)的配置文件, 不会启动新添加的程序
update    # 重启配置文件修改过的程序

上面这些子命令都有相应的输出, 除了进入supervisorctl的shell界面, 也可以直接在终端运行:

代码语言:javascript
复制
## 初始启动Supervisord, 启动、管理配置中设置的进程. 
$ supervisord
## 停止某一个进程(programxxx), programxxx为[program:chatdemon]里配置的值, 这个示例就是chatdemon. 
$ supervisorctl stop programxxx
## 启动某个进程
$ supervisorctl start programxxx
## 重启某个进程
$ supervisorctl restart programxxx
## 停止全部进程, 注: start、restart、stop都不会载入最新的配置文件. 
$ supervisorctl stop all
## 载入最新的配置文件, 停止原有进程并按新的配置启动、管理所有进程. 
$ supervisorctl reload
## 根据最新的配置文件, 启动新配置或有改动的进程, 配置没有改动的进程不会受影响而重启. 
$ supervisorctl update

## 重启所有属于名为groupworker这个分组的进程(start,restart同理)
$ supervisorctl stop groupworker
其他

除了supervisorctl之外, 还可以配置supervisrod启动web界面执行管理操作, 这个web后台使用Basic Auth的方式进行身份认证。

除了单个进程的控制, 还可以配置group, 进行分组管理。

经常查看日志文件, 包括supervisord的日志和各个pragram的日志文件, 程序crash或抛出异常的信息一半会输出到stderr, 可以查看相应的日志文件来查找问题。

supervisor有很丰富的功能, 还有其他很多项配置, 可以在官方文档:http://supervisord.org/index.html获取更多信息。

Supervisor 配置文件详解

  • supervisor 配置文件/etc/supervisord.conf
  • 子进程配置文件路径:/etc/supervisord.d/
代码语言:javascript
复制
[unix_http_server]
file=/tmp/supervisor.sock   ;UNIX socket 文件,supervisorctl 会使用
;chmod=0700                 ;socket文件的mode,默认是0700
;chown=nobody:nogroup       ;socket文件的owner,格式:uid:gid

;[inet_http_server]         ;HTTP服务器,提供web管理界面
;port=127.0.0.1:9001        ;Web管理后台运行的IP和端口,如果开放到公网,需要注意安全性
;username=user              ;登录管理后台的用户名
;password=123               ;登录管理后台的密码

[supervisord]
logfile=/tmp/supervisord.log ;日志文件,默认是 $CWD/supervisord.log
logfile_maxbytes=50MB        ;日志文件大小,超出会rotate,默认 50MB,如果设成0,表示不限制大小
logfile_backups=10           ;日志文件保留备份数量默认10,设为0表示不备份
loglevel=info                ;日志级别,默认info,其它: debug,warn,trace
pidfile=/tmp/supervisord.pid ;pid 文件
nodaemon=false               ;是否在前台启动,默认是false,即以 daemon 的方式启动
minfds=1024                  ;可以打开的文件描述符的最小值,默认 1024
minprocs=200                 ;可以打开的进程数的最小值,默认 200

[supervisorctl]
serverurl=unix:/
;serverurl=http://127.0.0.1:9001 ; 通过HTTP的方式连接supervisord

; [program:xx]是被管理的进程配置参数,xx是进程的名称
[program:xx]
command=/opt/apache-tomcat-8.0.35/bin/catalina.sh run  ; 程序启动命令
autostart=true       ; 在supervisord启动的时候也自动启动
startsecs=10         ; 启动10秒后没有异常退出,就表示进程正常启动了,默认为1秒
autorestart=true     ; 程序退出后自动重启,可选值:[unexpected,true,false],默认为unexpected,表示进程意外杀死后才重启
startretries=3       ; 启动失败自动重试次数,默认是3
user=tomcat          ; 用哪个用户启动进程,默认是root
priority=999         ; 进程启动优先级,默认999,值小的优先启动
redirect_stderr=true ; 把stderr重定向到stdout,默认false
stdout_logfile_maxbytes=20MB  ; stdout 日志文件大小,默认50MB
stdout_logfile_backups = 20   ; stdout 日志文件备份数,默认是10
; stdout 日志文件,需要注意当指定目录不存在时无法正常启动,所以需要手动创建目录(supervisord 会自动创建日志文件)
stdout_logfile=/opt/apache-tomcat-8.0.35/logs/catalina.out
stopasgroup=false     ;默认为false,进程被杀死时,是否向这个进程组发送stop信号,包括子进程
killasgroup=false     ;默认为false,向进程组发送kill信号,包括子进程

;包含其它配置文件
[include]
files = relative/directory
Supervisor 子进程配置文件

给需要管理的子进程编写一个配置文件,放在/etc/supervisor.d/目录下,以.ini作为扩展名,比如:

代码语言:javascript
复制
[program:demo]
directory = /home/casey/software
command = /home/casey/software/demo
autostart = true
autorestart = false
stderr_logfile = /tmp/demo_stderr.log
stdout_logfile = /tmp/demo_stdout.log
Supervisor 常用命令
代码语言:javascript
复制
# 读取有更新(增加)的配置文件,不会启动新添加的程序 
$supervisorctl reread
 # 重启配置文件修改过的程序 
$supervisorctl update
 # 查看程序状态 
$supervisorctl status
 # 启动程序 App_name 
$supervisorctl start App_name
 # 关闭程序 App_name 
$supervisorctl stop App_name
 # 重启程序 App_name 
supervisorctl -c /etc/supervisord.conf restart App_name:    
supervisorctl -c /etc/supervisord.conf start App_name:App_name_01
#supervisord **重载配置要用update ,不要用reload!

$supervisorctl restart App_name

以上命令也可以在supervisorctl Shell中执行:
$supervisorctl
supervisor>reread
supervisor> update
supervisor> status
supervisor> start App_name
supervisor> stop App_name
supervisor> restart App_name

Supervisor 进程管理应用实战 Nginx

supervisor服务项目创建:为了演示实现supervisor服务的功能,可以临时部署一个nginx服务程序,对nginx服务的进程进行监控。

supervisor服务项目配置

修改上面说明的supervisord.conf文件,文件最后两行配置信息的注释取消掉,也就是去掉分号信息:

代码语言:javascript
复制
[include]
files = supervisord.d/*.ini
-- 指定需要加载的程序项目配置文件信息

创建一个测试使用的服务配置文件:nginx.ini

代码语言:javascript
复制
[root@xiaoQ supervisord.d]# cat nginx.ini 
[program:nginx]
directory=/usr/sbin/
command=/usr/sbin/nginx -g 'daemon off;'
autostart=true
autorestart=true
startsecs=3
 
user=root
stderr_logfile=/tmp/nginx_stderr.log 
stdout_logfile=/tmp/nginx_stdout.log 
supervisor服务重新启动

编写完supervisor管理的进程服务配置文件后,可以使supervisor服务重新启动,加载编写的服务配置文件;

代码语言:javascript
复制
# 重启supervisor服务程序
systemctl restart supervisord.service  
 
# 检查对应管理的服务程序是否启动
[root@docker-server supervisord.d]# ps -ef|grep nginx
root       13338  13317  0 22:12 ?        00:00:00 nginx: master process /usr/sbin/nginx -g daemon off;
nginx     13339  13338  0 22:12 ?        00:00:00 nginx: worker process
nginx     13340  13338  0 22:12 ?        00:00:00 nginx: worker process
nginx     13341  13338  0 22:12 ?        00:00:00 nginx: worker process
nginx     13342  13338  0 22:12 ?        00:00:00 nginx: worker process
supervisor服务修复测试

尝试杀掉nginx服务程序,模拟企业服务异常情况崩溃,查看supervisor服务是否能够自动重启nginx程序:

代码语言:javascript
复制
# 尝试模拟杀死进程
[root@docker-server supervisord.d]# kill 13338
-bash: kill: (13338) - No such process
 
# 查询nginx服务进程是否可以自动重启
[root@docker-server supervisord.d]# ps -ef|grep nginx
root       13346  13317  0 22:16 ?        00:00:00 nginx: master process /usr/sbin/nginx -g daemon off;
nginx     13347  13346  0 22:16 ?        00:00:00 nginx: worker process
nginx     13348  13346  0 22:16 ?        00:00:00 nginx: worker process
nginx     13349  13346  0 22:16 ?        00:00:00 nginx: worker process
nginx     13350  13346  0 22:16 ?        00:00:00 nginx: worker process
-- 可以根据重启服务进程号信息可知,nginx服务已经实现了重启

参考链接:https://www.cnblogs.com/liulianzhen99 /articles/17664727.html https://blog.csdn.net/ wang11876/article/details/131268553

推荐阅读 点击标题可跳转

2023 年华为正式员工工资一览表!

郑州最最最牛逼的 IT 公司全在这了!

离职前!这些一定要删得干干净净!

腾讯最新宣布:1546.25 亿!

轰然倒塌!3400 亿巨头申请破产

使用Kubeadm搭建K8s集群,一次性成功!

PS:因为公众号平台更改了推送规则,如果不想错过内容,记得读完点一下“在看”,加个“星标”,这样每次新文章推送才会第一时间出现在你的订阅列表里。点“在看”支持我们吧!

本文参与 腾讯云自媒体分享计划,分享自微信公众号。
原始发表:2023-11-24,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 民工哥技术之路 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体分享计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • Supervisor 进程管理工具
  • Supervisor 的特点
    • 简单
      • 集中化
        • 高效
          • 可扩展
            • 兼容性
              • 稳定性
              • Supervisor 组件
                • supervisord
                  • supervisorctl
                    • Web Server
                      • XML-RPC 接口
                      • Supervisor 安装
                        • 配置
                          • 客户端操作-supervisorctl
                            • 其他
                            • Supervisor 配置文件详解
                            • Supervisor 进程管理应用实战 Nginx
                              • supervisor服务项目配置
                                • supervisor服务重新启动
                                  • supervisor服务修复测试
                                  相关产品与服务
                                  容器服务
                                  腾讯云容器服务(Tencent Kubernetes Engine, TKE)基于原生 kubernetes 提供以容器为核心的、高度可扩展的高性能容器管理服务,覆盖 Serverless、边缘计算、分布式云等多种业务部署场景,业内首创单个集群兼容多种计算节点的容器资源管理模式。同时产品作为云原生 Finops 领先布道者,主导开源项目Crane,全面助力客户实现资源优化、成本控制。
                                  领券
                                  问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档