专栏首页Python程序员杂谈Nginx 主动监测模块 upstream check 误用导致的502--no live upsteams

Nginx 主动监测模块 upstream check 误用导致的502--no live upsteams

nginx出现502 Bad GateWay的原因大部分情况下应该都不是Nginx的问题,而是后端Server的问题,比如程序挂了,比如响应太慢了。不过有时问题也出在Nginx上,就是我们遇到的这种情况,nginx reload之后一段时间内的访问都是502,error log中大量的no live upstream日志。

问题的原因就是对check upstream module这个模块的误用。先来看下我的配置。

主配置文件,nignx.conf:

worker_processes 4;
pid logs/nginx.pid;
error_log /tmp/logs/error.log;

events {
    worker_connections 1024;
}

http {
    include mime.types;
    default_type  application/octet-stream;
    # 省略部分配置

    include upstreamA.conf;

    server {
        listen 8889;
        server_name localhost;
        access_log  /tmp/logs/m-access.log  main;
        error_log /tmp/logs/m-error.log;

        location ~ / {
            proxy_pass http://tornado_servers;
        }

    }
}

然后是upstreamA.conf:

upstream tornado_servers {
    server 127.0.0.1:29100 weight=100;
    server 127.0.0.1:29101 weight=100;
    check interval=30000 rise=3 fall=3 timeout=30000 type=tcp;
}

然后是upstreamB.conf:

upstream tornado_servers {
    server 127.0.0.1:29110 weight=100;
    server 127.0.0.1:29111 weight=100;
    check interval=30000 rise=3 fall=3 timeout=30000 type=tcp;
}

有兴趣的可以用我的这个配置测试下,nginx需要有nginx_upstream_check_module插件。

我们上线应用的流程是这样,假设现在线上用的是upstreamA,那么我们发布Python程序的时候,就把端口监听在upstreamB设置的端口上,发布成功之后,把Nginx配置中的upstreamA改为upstreamB,然后reload,从而达到新程序上线的目的。

而这时出现的问题就是,reload之后,立马出现 no live upstream的error,并且所有访问都是502。

原因之前已经说过了,是对check模块的误用导致的,来看下check模块的使用说明就清楚了.

Syntax: check interval=milliseconds [fall=count] [rise=count] [timeout=milliseconds] [default_down=true|false] [type=tcp|http|ssl_hello|mysql|ajp] [port=check_port]
Default: 如果没有配置参数,默认值是:interval=30000 fall=5 rise=2 timeout=1000 default_down=true type=tcp
Context: upstream

各项说明:

该指令可以打开后端服务器的健康检查功能。
指令后面的参数意义是:
interval:向后端发送的健康检查包的间隔。
fall(fall_count): 如果连续失败次数达到fall_count,服务器就被认为是down。
rise(rise_count): 如果连续成功次数达到rise_count,服务器就被认为是up。
timeout: 后端健康请求的超时时间。

【default_down】: 设定初始时服务器的状态,如果是true,就说明默认是down的,如果是false,就是up的。默认值是true,也就是一开始服务器认为是不可用,要等健康检查包达到一定成功次数以后才会被认为是健康的。

type:健康检查包的类型,现在支持以下多种类型
tcp:简单的tcp连接,如果连接成功,就说明后端正常。
ssl_hello:发送一个初始的SSL hello包并接受服务器的SSL hello包。
http:发送HTTP请求,通过后端的回复包的状态来判断后端是否存活。
mysql: 向mysql服务器连接,通过接收服务器的greeting包来判断后端是否存活。
ajp:向后端发送AJP协议的Cping包,通过接收Cpong包来判断后端是否存活。
port: 指定后端服务器的检查端口。你可以指定不同于真实服务的后端服务器的端口,比如后端提供的是443端口的应用,你可以去检查80端口的状态来判断后端健康状况。默认是0,表示跟后端server提供真实服务的端口一样。该选项出现于Tengine-1.4.0。

如果没有仔细考虑这个问题的话,像我们这样使用默认的配置,然后通过切换upstream文件来上线新系统,还真是有坑。

参考: 1. http://tengine.taobao.org/document_cn/http_upstream_check_cn.html

2. http://segmentfault.com/a/1190000002446630

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • backbone.js中的异常处理

    今天收到一个网友(暖阳下的懒猫)对backbone.js中的提问邮件,回答了下,觉得应该有其他人也会遇到这样的问题,于是征求了暖阳下的懒猫同意,把邮件发到这里,...

    the5fire
  • 1.初识backbone.js

    backbone,英文意思是:勇气, 脊骨,但是在程序里面,尤其是在backbone后面加上后缀js之后,它就变成了一个框架,一个js库。

    the5fire
  • linux下redis安装基本使用

    http://code.google.com/p/redis/downloads/list

    the5fire
  • 关于log日志的深入学习笔记

    什么是日志,简单来说就是记录,在程序中日志担任着重要的作用,利用日志信息,我们可以很轻易发现程序的运行状况,一个输出格式化很好的也可以很轻易的进行数据分析。那么...

    陌无崖
  • 关于apache端口被占用

    正文 无论我们在安装单个的apache还是装集成环境xampp都是有可能遇到apache意外停止。查看错误日志会发现一般都是端口被占用,一般是被虚拟机占用了,这...

    lwen
  • redo日志文件学习(22天)

    关于redo日志文件,今天因为要做redo日志的在线迁移,所以特意做了个简单的总结。 1. 如果要把redo的切换信息显示到alert日志中,需要设置个参数。...

    jeanron100
  • FRP内网穿透单机传奇架设外网

    看着这个标题我我自己都有点懵,大概意思就是用自己家的电脑架设一个传奇服务端,然后用FRP内网穿透可以在外网玩,标题写的有点纠结,就这样吧。

    爱游博客
  • MySQL 中的 DML 语句执行流程,你理解的跟我一样吗?

    在DML语句执行的过程中,主要会涉及到两个日志——redo log和bin log,而这两个日志是数据库 WAL (Write Ahead Logging,先写...

    Java程序猿阿谷
  • SEOer必学网站分析神器(第三节课)

    黄伟SEO
  • 联机日志文件过小引发的log file 相关等待

          Oracle 联机重做日志文件记录了数据库的所有变化(DML,DDL或管理员对数据所作的结构性更改等),用于对于意外删除或宕机利用日志文件实现数据恢...

    Leshami

扫码关注云+社区

领取腾讯云代金券