学习
实践
活动
专区
工具
TVP
写文章
专栏首页CSIG质量部压测团队【项目实战-13】QPS上不去,日志组件埋的坑!
原创

【项目实战-13】QPS上不去,日志组件埋的坑!

【问题表现】

SSO登录接口压测场景,在压测2分钟后QPS出现下降。排查QPS不稳定的原因。

【问题分析与排查思路】

  1. 确认域名方式请求

确认压测链路:

  1.   排查CLB的流量带宽,解析后IP,对应的CLB:pro-lb-认证,这个集群CLB同学已经评估过,剩余50G带宽,容量充足

2. 查看网络流量没有发现瓶颈后发现的sso的机器负载很高,内存占用很高。

3. 开始查找分析内存大是因为日志导致的。日志组件的逻辑是把日志生产到rabbitmq中,如果rabbitmq满了,就会暂存在内存的一个队列中,如果内存队列满了,会写磁盘,过程如下。其中内存队列数量上限设置为1000w,一轮又一轮的压测,系统里的日志堆积的越来越多导致服务内存高,QPS波动大。

4. 调整日志配置将内存队列数量上限设置为200w,进行压测验证QPS比较平稳。

【总结】

在本次压测的过程中,出现了因为内存使用过大而导致QPS下降的案例,在项目中要合理利用日志组件。

还要多关注生产环境配置的合理性,减少因为环境问题给压测‘埋坑’。

原创声明,本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

登录 后参与评论
0 条评论

相关文章

  • 【必看】社区文章目录

    Nanako
  • 社区精华文章目录

    cailynyu
  • 压力测试之常见容量故障案例与避坑指南

    katelyn
  • TestOps性能测试学习之第六天

    上周六是我们TestOps性能进阶课程第八天——性能测试实战的学习。这一天的课程是由测试行业的大牛叶微微老师为我们带来的,必须是干货满满。老师教大家一起学习企业...

    TestOps
  • 腾讯课堂停课不停学:业务后台实践

    | 导语 疫情爆发,腾讯发起“停课不停学”专项,腾讯课堂一下子被推到风口浪尖上,2天上线极速版,2周内支持同时在线人数超百倍增长,对整个后台挑战非常大。整整2个...

    王昂
  • 全链路压测如何排障调优 — 先导篇

    我们团队保障了很多KA项目(第七次人口普查项目,广交会等)的后台稳定性,覆盖14亿中国人口,后台接口的并发量达到11万的QPS。在生产环境进行全链路压测的过程中...

    杨珂
  • 【项目实战-3】脚本存在遍历解析耗时操作,QPS压不上去

    1.   QPS压不上去,猜测是链路某一环节出现了瓶颈。梳理整个压测链路:jmeter->clb->cvm。空跑一个无逻辑处理的接口,发现10台的client机...

    Nanako
  • 服务常见性能问题分析

    最近对一个golang的server项目做了性能测试,针对发现的问题做了简单的总结,供大家参考

    软测小生
  • 服务常见性能问题分析

    性能测试中,稳定性测试是必不可少的,最主要目的是为了发现程序崩溃问题,关键在测试设计过程中依据代码逻辑分析直接或间接使用的参数,构造各种异常case;例:

    用户5521279
  • 干货 | Qunar全链路跟踪及Debug

    作者简介 王克礼,去哪儿平台事业部基础架构Java开发工程师,参与开发和维护去哪儿内部中间件,包括配置中心、消息队列、日志收集及链路跟踪系统QTracer等。 ...

    携程技术
  • 有赞埋点实践

    大数据应用一般会有采集、加工、存储、计算及可视化这几个环节。其中采集作为源头,在确保全面、准确、及时的前提下,最终加工出来的指标结果才是有价值的。

    有赞coder
  • 项目实战-埋点系统初探

    最近杂七杂八的事情比较多,难得抽出时间来弥补一下之前的系列,欠大家的埋点系列现在开始走起来

    Cookieboty
  • 从零开始写一个抖音App——开始一、写在前面二、项目概述三、尾巴

    何时夕
  • 马晓:Serverless SSR 在人人视频的落地探索

    人人视频之所以考虑 SSR 方案,首先是因为和百度的合作项目。基于对搜索引擎爬虫的友好度考虑,也就是 SEO 优化,页面必须尽量保持是直出,方便蜘蛛爬取;其次,...

    腾讯云serverless团队
  • 熬夜之作:一文带你了解Cat分布式监控

    CAT(Central Application Tracking)是基于 Java 开发的实时应用监控平台,包括实时应用监控,业务监控。

    猿天地
  • Spring Boot实现分布式微服务开发实战系列(七)

    今天已经进入第七讲了,整个微服务架构的搭建工作也基本完成。那到目前为止究竟使用了那些技术及实现了什么功能呢?我们先回顾一下。

    攻城狮的那点事
  • 微服务不是全部,只是特定领域的子集

    大家都在学SpringCloud,貌似学会了SC就牛逼哄哄,感觉不得了的样子。但微服务,在整个企业级应用中,只占了一小部分。微服务引入的问题比解决的问题还要多,...

    xjjdog

扫码关注腾讯云开发者

领取腾讯云代金券