聊聊nginx与tomcat的5xx

本文主要讲述一下nginx与tomcat的502、504、503错误及其常见的产生原因。

502

定义

502 Bad Gateway : 作为网关或者代理工作的服务器尝试执行请求时,从上游服务器接收到无效的响应。

常见原因

  • 后端服务挂了的情况,直接502
  • 后端服务在重启

实例

将后端服务关掉,然后向nginx发送请求后端接口,日志如下:

  • access.log 127.0.0.1 - - [22/Dec/2017:20:44:38 +0800] "GET /timeout/long-write HTTP/1.1" 502 537 "-" "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_11_5) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.108 Safari/537.36"
  • error.log 2017/12/22 20:45:12 [error] 1481#0: *3 kevent() reported that connect() failed (61: Connection refused) while connecting to upstream, client: 127.0.0.1, server: localhost, request: "GET /timeout/long-write HTTP/1.1", upstream: "http://[::1]:8080/timeout//long-write", host: "localhost:8888"

504

定义

504:gateway timeout.作为网关或者代理工作的服务器尝试执行请求时,未能及时从上游服务器(URI标识出的服务器,例如HTTP、FTP、LDAP)或者辅助服务器(例如DNS)收到响应。注意:某些代理服务器在DNS查询超时时会返回400或者500错误

常见原因

  • 该接口太耗时,后端服务接收到请求,开始执行,未能在设定时间返回数据给nginx
  • 后端服务器整体负载太高,接受到请求之后,由于线程繁忙,未能安排给请求的接口,导致未能在设定时间返回数据给nginx

实例

  • 前端返回 <html> <head><title>504 Gateway Time-out</title></head> <body bgcolor="white"> <center><h1>504 Gateway Time-out</h1></center> <hr><center>openresty/1.9.15.1</center> </body> </html> <!-- a padding to disable MSIE and Chrome friendly error page --> <!-- a padding to disable MSIE and Chrome friendly error page --> <!-- a padding to disable MSIE and Chrome friendly error page --> <!-- a padding to disable MSIE and Chrome friendly error page --> <!-- a padding to disable MSIE and Chrome friendly error page --> <!-- a padding to disable MSIE and Chrome friendly error page -->
  • access.log 192.168.99.1 - - [22/Dec/2017:21:58:20 +0800] "GET /timeout/long-resp HTTP/1.1" 504 591 "-" "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_11_5) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.108 Safari/537.36" "-" "-"
  • error.log 2017/12/22 21:58:20 [error] 5#5: *7 upstream timed out (110: Connection timed out) while reading response header from upstream, client: 192.168.99.1, server: , request: "GET /timeout/long-resp HTTP/1.1", upstream: "http://192.168.99.100:8080/timeout//long-resp", host: "192.168.99.100:8686"
  • nginx.conf location /timeout/long-resp { proxy_connect_timeout 30; proxy_read_timeout 100; proxy_send_timeout 10; proxy_pass http://192.168.99.100:8080/timeout/long-resp ; }
  • java代码 @GetMapping("/timeout/long-resp") public String longResp() throws InterruptedException { TimeUnit.SECONDS.sleep(120); return "finish"; } 服务器接受请求一直没有返回,nginx在等待100秒后报Connection timed out,返回504;但是后端继续执行,在第120秒才执行完。

503(相对少见)

定义

503表示service unavailable,表示服务器当前处于暂时不可用状态,无论是有意还是无意,当服务器端处于无法应答的状态时,就会返回该状态码。其中,服务端因维护需要而停止服务属于有意的情况。而当服务器自身负载过高,处于无法响应的状态时,则属于无意的情况。另外,负载均衡器或者web服务器的前置机等这些地方的服务器也有可能返回503.

常见原因

  • nginx进行限流,超过限速则返回503
  • 后端服务进行常规维护,比如pause tomcat

nginx限流返回503实例

  • config http{ ## test 503 limit_conn_zone $binary_remote_addr zone=addr:10m; server { listen 8686; location /timeout { limit_conn addr 1; proxy_connect_timeout 30; proxy_read_timeout 100; proxy_send_timeout 2; proxy_pass http://192.168.99.100:8080/timeout/ ; } } }
  • error.log 2017/12/24 20:58:29 [error] 5#5: *1473 limiting connections by zone "addr", client: 192.168.99.1, server: , request: "GET /timeout/busy HTTP/1.1", host: "192.168.99.100:8686"
  • access.log 192.168.99.1 - - [24/Dec/2017:20:58:39 +0800] "GET /timeout/busy HTTP/1.1" 503 219 "-" "-" "-" "-"
  • client wrk -t12 -c200 -d100s -T60s --latency http://192.168.99.100:8686/timeout/busy ➜ ~ curl -i http://192.168.99.100:8686/timeout/busy HTTP/1.1 503 Service Temporarily Unavailable Server: openresty/1.9.15.1 Date: Sun, 24 Dec 2017 12:58:26 GMT Content-Type: text/html Content-Length: 219 Connection: keep-alive <html> <head><title>503 Service Temporarily Unavailable</title></head> <body bgcolor="white"> <center><h1>503 Service Temporarily Unavailable</h1></center> <hr><center>openresty/1.9.15.1</center> </body> </html>

tomcat返回503实例

  • Http11Processor tomcat-embed-core-8.5.23-sources.jar!/org/apache/coyote/http11/Http11Processor.java @Override public SocketState service(SocketWrapperBase<?> socketWrapper) throws IOException { RequestInfo rp = request.getRequestProcessor(); rp.setStage(org.apache.coyote.Constants.STAGE_PARSE); // Setting up the I/O setSocketWrapper(socketWrapper); inputBuffer.init(socketWrapper); outputBuffer.init(socketWrapper); // Flags keepAlive = true; openSocket = false; readComplete = true; boolean keptAlive = false; SendfileState sendfileState = SendfileState.DONE; while (!getErrorState().isError() && keepAlive && !isAsync() && upgradeToken == null && sendfileState == SendfileState.DONE && !endpoint.isPaused()) { //...... if (endpoint.isPaused()) { // 503 - Service unavailable response.setStatus(503); setErrorState(ErrorState.CLOSE_CLEAN, null); } else { keptAlive = true; // Set this every time in case limit has been changed via JMX request.getMimeHeaders().setLimit(endpoint.getMaxHeaderCount()); if (!inputBuffer.parseHeaders()) { // We've read part of the request, don't recycle it // instead associate it with the socket openSocket = true; readComplete = false; break; } if (!disableUploadTimeout) { socketWrapper.setReadTimeout(connectionUploadTimeout); } } } } 只要endpoint的状态是paused,则返回503
  • AbstractEndpoint tomcat-embed-core-8.5.23-sources.jar!/org/apache/tomcat/util/net/AbstractEndpoint.java /** * Pause the endpoint, which will stop it accepting new connections. */ public void pause() { if (running && !paused) { paused = true; unlockAccept(); getHandler().pause(); } } /** * Resume the endpoint, which will make it start accepting new connections * again. */ public void resume() { if (running) { paused = false; } } 这里是endpoint的pause以及resume方法
  • 请求 当请求进入Http11Processor的service方法到执行endpoint.isPaused()方法期间,tomcat被pause了,这个时候,就会返回503,如下: ➜ ~ curl -i http://localhost:8080/demo/test HTTP/1.1 503 Transfer-Encoding: chunked Date: Sun, 24 Dec 2017 14:10:16 GMT Connection: close

小结

  • 502 通常是后端服务挂了或在重启
  • 504 通常是请求的接口执行耗时,亦或是后端服务负载高,执行耗时
  • 503 通常是nginx限流或后端服务pause进行维护

doc

  • Nginx状态码总结
  • nginx错误502,503,504分析
  • Nginx 502 503 错误触发条件与解决办法汇总

原文发布于微信公众号 - 码匠的流水账(geek_luandun)

原文发表时间:2017-12-26

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏区块链

20种功能强大的跨平台渗透测试工具

什么是渗透测试?用来测试软件是否存在例如安全方面的漏洞,如果已经存在,会不会被入侵。 渗透测试流程: 1、列出软件或系统潜在的安全漏洞。 2、根据漏洞的严重性进...

27070
来自专栏叁金大数据

快速搭建Hadoop及HBase分布式环境

之前的博文都是通过urllib2进行http访问,接下来我要说一个利器啊!requests模块,无法用语言对他进行赞扬了,需要的,有兴趣的,可以去了解下,移步官...

11820
来自专栏黑白安全

内网提权中常用命令

C:\Users\thel3l> systeminfo | findstr /B /C:"OS Name" /C:"OS Version" OS Name: M...

10820
来自专栏吴生的专栏

SpringBoot整合RabbitMQ之典型应用场景实战一

实战前言 RabbitMQ 作为目前应用相当广泛的消息中间件,在企业级应用、微服务应用中充当着重要的角色。特别是在一些典型的应用场景以及业务模块中具有重要的作用...

14600
来自专栏闵开慧

WINDOWS下使用虚拟机安装ubuntu及其上网设置的安装说明

LINUX是个好东西,可是如果是新手.而且是想多系统共存的话,安装就会有点难。建议初装LINUX的朋友试试用虚拟机VMware workstation安装...

549110
来自专栏SpringBoot 核心技术

第四十章:基于SpringBoot & Quartz完成定时任务分布式多节点负载持久化

511120
来自专栏沈唁志

WordPress最新版完全禁用JSON REST API输出站点信息

WordPress 从 4.4 版本开始新增的 JSON REST API 功能,通过这个 REST API 可以很轻松的获取网站的数据,可应用于其他网站、手机...

15030
来自专栏SDNLAB

从一个 Neutron DHCP 补丁谈起

前言 前几个星期,社区通过了一个 Patch 来解决一个遗留很久的 DHCP 相关的问题,这个 Patch 并不复杂(review 地址是 https://re...

42170
来自专栏salesforce零基础学习

salesforce零基础学习(八十八)项目中的零碎知识点小总结(二)

18320
来自专栏杂烩

spring安全框架Security(一) 转

    现在很多企业和开发团队都使用了SSH2(Struts 2 +Spring 2.5 +Hibernate)框架来进行开发,  我们或许已经习惯了强大的Sp...

10930

扫码关注云+社区

领取腾讯云代金券