专栏首页Python爬虫与数据分析使用 gunicorn + nginx + supervisor 部署 flask 项目

使用 gunicorn + nginx + supervisor 部署 flask 项目

部署 flask 项目的流程及要点

flask 一个使用 Python 编写的轻量级 Web 应用框架

gunicorn “绿色独角兽”是一个被广泛使用的高性能的 Python WSGI UNIX HTTP 服务器,移植自Ruby 的独角兽(Unicorn )项目,使用 pre-fork worker 模式,具有使用非常简单,轻量级的资源消耗,以及高性能等特点。Gunicorn 服务器作为 wsgi app 的容器,能够与各种 Web 框架兼容(flask,django 等),得益于 gevent 等技术,使用 Gunicorn 能够在基本不改变 wsgi app 代码的前提下,大幅度提高 wsgi app 的性能。

supervisord 是用 Python 开发的一个 client/server 服务,是 Linux/Unix 系统下的一个进程管理工具,不支持 Windows 系统。它可以很方便的监听、启动、停止、重启一个或多个进程。用Supervisor 管理的进程,当一个进程意外被杀死,supervisort 监听到进程死后,会自动将它重新拉起,很方便的做到进程自动恢复的功能,不再需要自己写 shell 脚本来控制。

gunicorn 作为项目的应用服务器, supervisord 作为管理进程的工具方便项目管理, nginx 作为web 服务器

用户访问域名 –> nginx –> 应用服务器 gunicorn <– supervisord 负责管理

环境安装

- `nginx`、'MySQL' 以及 `supervisord` 为系统级别的环境,所以建议使用 root 用户安装。
- 建议使用 yum 安装,避免权限问题

安装 nginx

```
sudo rpm -Uvh http://nginx.org/packages/centos/7/noarch/RPMS/nginx-release-centos-7-0.el7.ngx.noarch.rpm
sudo yum install -y nginx
# 启动Nginx并设置开机自动运行
sudo systemctl start nginx.service
sudo systemctl enable nginx.service
```

这样安装可以省掉很多麻烦,默认的配置文件位置 /etc/nginx/nginx.conf

需要修改配置建议新建 conf.d 文件夹, 将新的配置文件放置在 conf.d 目录下,在默认配置文件中增加 include /etc/nginx/conf.d/*.conf, 这样就可以很方便的配置与使用 nginx。

nginx 默认监听 80 端口,所以默认配置文件基本不用修改。访问 80 端口,自动转发到新配置的端口中。这样可以避免修改服务器的安全策略。

常用命令 使用 yum 安装后的使用命令。如果是解压缩的方法需要重新配置

service nginx start
service nginx stop
service nginx reload

新增的配置文件示例:

        server {
          server_name 你的域名或公网ip;
          root 访问的首页地址,绝对路径;
          location = / {
          }
          location = /index.html {
          }
          location ^~ /static {
          }
          location /api/ {
                  proxy_pass         http://127.0.0.1:端口;
                  proxy_redirect     off;
                  proxy_set_header   Host             $host;
                  proxy_set_header   X-Real-IP        $remote_addr;
                  proxy_set_header   X-Forwarded-For  $proxy_add_x_forwarded_for;
                  proxy_set_header   X-Forwarded-Proto    $scheme;
          }
  }

安装 supervisor

建议 yum 安装,默认的配置文件位置 /etc/supervisord.conf

配置文件基本是不需要修改,只需在文件最后加上进程管理配置文件的位置。

进程管理的配置文件放到 /etc/supervisord.d/ 目录下即可

如果是别的方法安装可能会碰到各种各样的问题,包括需要修改配置,导入配置

yum install epel-release
yum install -y supervisor

常用命令

systemctl restart supervisord  # 启动默认加载的配置文件位置 /etc/supervisord.conf
systemctl start supervisord
systemctl stop supervisord
supervisorctl    # 后面不加参数,会进入到管理界面
supervisorctl stop program_name  # 停止某一个进程,program_name 为 [program:x] 里的 x
supervisorctl start program_name  # 启动某个进程
supervisorctl restart program_name  # 重启某个进程
supervisorctl stop groupworker:  # 结束所有属于名为 groupworker 这个分组的进程 (start,restart 同理)
supervisorctl stop groupworker:name1  # 结束 groupworker:name1 这个进程 (start,restart 同理)
supervisorctl stop all  # 停止全部进程,注:start、restartUnlinking stale socket /tmp/supervisor.sock、stop 都不会载入最新的配置文件
supervisorctl reload  # 载入最新的配置文件,停止原有进程并按新的配置启动、管理所有进程
supervisorctl update  # 根据最新的配置文件,启动新配置或有改动的进程,配置没有改动的进程不会受影响而重启

进程管理配置文件示例:

[program:进程名]
directory=项目位置
command = gunicorn -c gun.py app:app  # 启动项目命令
autostart=true
autorestart=true
stdout_logfile=日志文件名字.log
stdout_logfile_maxbytes = 5MB  ;
stdout_logfile_backups = 3     ;
redirect_stderr=true
stopsignal=QUIT
stopasgroup=true
killasgroup=true

安装 gunicorn

建议创建虚拟环境,在虚拟环境中使用命令安装项目所需要的包。

使用 gunrcorn 必须使用 .py 文件结尾的配置文件。

配置文件示例:

#!/usr/bin/env python3
# -*- coding: utf-8 -*-
import os
from gevent import monkey
import multiprocessing
monkey.patch_all()
debug = True
bind = f”{ip}:{port}”
设置进程文件 ‘/var/run/*.pid’
pidfile = ‘program.pid’
logfile = ‘program.log’
设置日志级别
loglevel = ‘debug’
设置访问日志和错误信息日志路径
accesslog = ‘program.log’
errorlog = ‘program.log’
#启动的进程数 cpu核心*2
workers = multiprocessing.cpu_count() * 2
工作模式协程 默认是sync 可以改成gevent
worker_class = ‘gunicorn.workers.ggevent.GeventWorker’
设置最大并发量, 默认是1000
worker_connections = 2000
指定每个工作者的线程数,默认是1
threads = 2
设置守护进程,将进程交给supervisord管理
daemon = False
启动项目的用户及用户组
user = “username”
group = “groupname”
x_forwarded_for_header = ‘X-FORWARDED-FOR’
def main():
pass
#
#
if name == ‘main‘:
main()
## 部署

上传项目,使用非 root 用户,更改用户组到 nginx,这个可以自定义。

- 新增用户   `useradd 用户名 -g 用户组`  指定用户属于某个用户组。`-G` 参数指定用户还属于哪个用户组

- 修改某个文件或者文件夹的所属用户或用户组

  `chown -R 用户.用户组 文件或者文件夹`

  `chown -R user.group file/`

基本环境安装完成就结束了,修改相应的配置文件,启动 nginx, 启动 supervisord

关于日志

nginx 和 supervisord 的日志都在 `/var/log/` 目录下。nginx 需要进入 nginx 目录下,查看log 文件

- MySQL用户授权, 分配管理的表

  - 创建用户

    - 使用 localhost 则为只能本机访问;若为 `%` 则允许所有 ip 连接。
    - 允许所有 ip 连接,不一定本机就可以连接。本机连接最好配置 `localhost`

       `create user '新用户'@'localhost' identified by '密码';`

  - 为新用户授权

    - `all` 代表所有权限
    - 如果需要`root`远程连接访问, 则可以直接使用下面的语句,将指定 ip 改为 `%`

    `grant all privileges on 数据库名.表名 to '新用户名'@'指定ip' identified by '新用户密码';`

  - 删除用户

    ` DROP USER username@localhost; `

  - 修改后刷新权限

    ` FLUSH PRIVILEGES; `

本文分享自微信公众号 - Python爬虫scrapy(python_scrapy),作者:AndrewAndrea

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2019-12-19

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • Python 多进程程批量爬取小

    python中的多线程其实并不是真正的多线程,如果想要充分地使用多核CPU的资源,在python中大部分情况需要使用多进程。Python提供了非常好用的多进程包...

    andrew_a
  • win10下安装GPU版本的TensorFlow(cuda + cudnn)

    搭了将近快两天的环境,终于好了,虽然在开始的时候,安了卸,卸了安的,但是!!!安装成功后,那种快乐是无法言语的~~~~~所以在此我必须的记录一下我的艰辛历程~~...

    andrew_a
  • 数据分析 ——— pandas基础(四)

    利用pandas来进行数据处理的方法太多了,在这里继续更新一下对缺失数据的处理,以及数据的分组,聚合函数的使用。

    andrew_a
  • JSON——轻量级数据格式

    很多公司的加班是今天做昨天的事情,或者今天做今天还没完成的事情,反正加班是因为做不完事情,而我理解的加班应该是今天要把明天的事情做完,这个月把下个月的事情做完,...

    stormwen
  • NEJM:创伤后应激障碍

    暴力、伤害和死亡的报道每天都出现在头条新闻上。全世界超过70%的成年人在一生中经历过至少一次创伤事件,31%的人经历过四次或四次以上。创伤后应激障碍(PTSD)...

    用户1279583
  • 【iOS 开发】Controller 之间使用代理传值

    控制器之间经常需要互相传递值,第一个控制器(简称 MasterVC)在通过 NavigationController Push 第二个控制器(简称 Detail...

    KyXu
  • Connecting People ---- 独乐乐 不如众乐乐

    摘要 io游戏大致是指具有多人对抗+地图限制+死后即刻复活等为特点的休闲moba类竞技游戏,在近几年内发展迅速。 ? io&HTML5 HTML5这个领域在过去...

    IT大咖说
  • 【每日一摩斯】-Shared Pool优化和Library Cache Latch冲突优化 (1523934.1)-系列3

    Parse一次并执行多次        在OLTP类型的应用中,最好的方法是只让一个语句被解析一次,然后保持这个cursor的打开状态,在需要的时候重复执行它...

    bisal
  • 使用小程序·云开发静态托管实现免鉴权h5跳转小程序

    但是,开发者在使用之前要在公众号设置JS接口安全域名,不仅限制个数还限制修改次数,而且在使用之前还得获取access_token、ticket等计算signat...

    腾讯云开发TCB
  • synchronized的工作原理(三)

    keithl

扫码关注云+社区

领取腾讯云代金券