首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >【项目实战-13】QPS上不去,日志组件埋的坑!

【项目实战-13】QPS上不去,日志组件埋的坑!

原创
作者头像
Nanako
发布2021-02-23 20:51:21
1.2K0
发布2021-02-23 20:51:21
举报

【问题表现】

SSO登录接口压测场景,在压测2分钟后QPS出现下降。排查QPS不稳定的原因。

【问题分析与排查思路】

  1. 确认域名方式请求

确认压测链路:

  1.   排查CLB的流量带宽,解析后IP,对应的CLB:pro-lb-认证,这个集群CLB同学已经评估过,剩余50G带宽,容量充足

2. 查看网络流量没有发现瓶颈后发现的sso的机器负载很高,内存占用很高。

3. 开始查找分析内存大是因为日志导致的。日志组件的逻辑是把日志生产到rabbitmq中,如果rabbitmq满了,就会暂存在内存的一个队列中,如果内存队列满了,会写磁盘,过程如下。其中内存队列数量上限设置为1000w,一轮又一轮的压测,系统里的日志堆积的越来越多导致服务内存高,QPS波动大。

4. 调整日志配置将内存队列数量上限设置为200w,进行压测验证QPS比较平稳。

【总结】

在本次压测的过程中,出现了因为内存使用过大而导致QPS下降的案例,在项目中要合理利用日志组件。

还要多关注生产环境配置的合理性,减少因为环境问题给压测‘埋坑’。

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • 【问题表现】
  • 【问题分析与排查思路】
  • 【总结】
相关产品与服务
负载均衡
负载均衡(Cloud Load Balancer,CLB)提供安全快捷的流量分发服务,访问流量经由 CLB 可以自动分配到云中的多台后端服务器上,扩展系统的服务能力并消除单点故障。负载均衡支持亿级连接和千万级并发,可轻松应对大流量访问,满足业务需求。
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档