首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

502 Bad Gateway 引起的反思

今天突然系统调用出现大量 502 错误! 502 错误是请求已经到了HTTP服务器(Nginx),但是在反向代理时请求不到应用服务器(Tomcat)!

查看了实例应用的 JVM 探针!下面是异常前日和当日(上图是昨日,下图是今日)各项参数的对比。

1. CPU: 昨天的 CPU 使用率稳定 4%,而今日则有较大波动!

2. JVM 堆内存:两日相比,异常当日 JVM 堆内存的增长较前日要异常的!

3. Full GC:由于 JVM 对内存增长很快,造成 Full GC 的次数较前日有明显增加!

4. Young GC:对比两日的 Young GC,频次也有较大不同!

5. 线程数:昨日的线程数稳定在 1100+ 左右,而今天在异常时段暴涨到 1700+!

JVM 各项参数的异常,尤其是线程数的暴涨!再查看的服务器的系能参数(上图是昨日,下图是今日)。

1. TCP Conn:昨日的 TCP Conn 稳定波动在 100~200 之间,而今天在异常时段达到到 6000!

这就是问题点,Tomcat 的默认线程池大小是 1000个,而且请求多是 Http 短连接,其实很难线程池溢出!

2. Load:系统 Load 在异常时段较昨日下降很多,推断:极有可能是有请求超时,后续的请求被堵塞,同时 系统 Load 下降!

根据已上推断,检查所有方法调用监控!

确有发现(上图是今日、下图是昨日),一外部方法调用的 TP99 达到 150s,而昨日正常 100ms!

追诉其根本,由于该方法还调用了内部服务,属于 RPC 调用,检查其方法调用,发现方法可用率跌至 7%,同时调用次数也急剧上上!

至此,系统 502 Bad Gateway的问题定位!

同时也吸取教训,作为系统外部服务的提供者,尤其是接入层,对接逻辑容器时,应该添加缓冲队列!由同步改成异步调用!

  • 发表于:
  • 原文链接https://kuaibao.qq.com/s/20181123B0AUO200?refer=cp_1026
  • 腾讯「腾讯云开发者社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。
  • 如有侵权,请联系 cloudcommunity@tencent.com 删除。

扫码

添加站长 进交流群

领取专属 10元无门槛券

私享最新 技术干货

扫码加入开发者社群
领券