专栏首页云原生压测团队【项目实战-13】QPS上不去,日志组件埋的坑!
原创

【项目实战-13】QPS上不去,日志组件埋的坑!

【问题表现】

SSO登录接口压测场景,在压测2分钟后QPS出现下降。排查QPS不稳定的原因。

【问题分析与排查思路】

  1. 确认域名方式请求

确认压测链路:

  1.   排查CLB的流量带宽,解析后IP,对应的CLB:pro-lb-认证,这个集群CLB同学已经评估过,剩余50G带宽,容量充足

2. 查看网络流量没有发现瓶颈后发现的sso的机器负载很高,内存占用很高。

3. 开始查找分析内存大是因为日志导致的。日志组件的逻辑是把日志生产到rabbitmq中,如果rabbitmq满了,就会暂存在内存的一个队列中,如果内存队列满了,会写磁盘,过程如下。其中内存队列数量上限设置为1000w,一轮又一轮的压测,系统里的日志堆积的越来越多导致服务内存高,QPS波动大。

4. 调整日志配置将内存队列数量上限设置为200w,进行压测验证QPS比较平稳。

【总结】

在本次压测的过程中,出现了因为内存使用过大而导致QPS下降的案例,在项目中要合理利用日志组件。

还要多关注生产环境配置的合理性,减少因为环境问题给压测‘埋坑’。

原创声明,本文系作者授权云+社区发表,未经许可,不得转载。

如有侵权,请联系 yunjia_community@tencent.com 删除。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 【必看】社区文章目录

    Nanako
  • 社区精华文章目录

    cailynyu
  • 【项目实战-3】脚本存在遍历解析耗时操作,QPS压不上去

    1.   QPS压不上去,猜测是链路某一环节出现了瓶颈。梳理整个压测链路:jmeter->clb->cvm。空跑一个无逻辑处理的接口,发现10台的client机...

    Nanako
  • 全链路压测如何排障调优 — 先导篇

    我们团队保障了很多KA项目(第七次人口普查项目,广交会等)的后台稳定性,覆盖14亿中国人口,后台接口的并发量达到11万的QPS。在生产环境进行全链路压测的过程中...

    杨珂
  • 腾讯课堂停课不停学:业务后台实践

    | 导语 疫情爆发,腾讯发起“停课不停学”专项,腾讯课堂一下子被推到风口浪尖上,2天上线极速版,2周内支持同时在线人数超百倍增长,对整个后台挑战非常大。整整2个...

    王昂
  • 从零开始写一个抖音App——开始一、写在前面二、项目概述三、尾巴

    何时夕
  • 技术专家写代码-以点带面谈做开发

    静儿
  • 干货 | Qunar全链路跟踪及Debug

    作者简介 王克礼,去哪儿平台事业部基础架构Java开发工程师,参与开发和维护去哪儿内部中间件,包括配置中心、消息队列、日志收集及链路跟踪系统QTracer等。 ...

    携程技术
  • 熬夜之作:一文带你了解Cat分布式监控

    CAT(Central Application Tracking)是基于 Java 开发的实时应用监控平台,包括实时应用监控,业务监控。

    猿天地
  • 微服务不是全部,只是特定领域的子集

    大家都在学SpringCloud,貌似学会了SC就牛逼哄哄,感觉不得了的样子。但微服务,在整个企业级应用中,只占了一小部分。微服务引入的问题比解决的问题还要多,...

    xjjdog
  • 【进阶之路】分布式项目中的链路追踪

    .markdown-body{word-break:break-word;line-height:1.75;font-weight:400;font-size:...

    南橘
  • 前端工程实践之数据埋点分析系统(一)

    本文首发于政采云前端团队博客:前端工程实践之数据埋点分析系统(一) https://www.zoo.team/article/data-analysis-one

    政采云前端团队
  • 【项目实战-1】NAT网关的最佳实践

    项目某后台接口QPS出现周期性的掉坑现象。每一次耗时的峰值,都对应一次QPS掉坑。

    Nanako
  • 有赞埋点实践

    大数据应用一般会有采集、加工、存储、计算及可视化这几个环节。其中采集作为源头,在确保全面、准确、及时的前提下,最终加工出来的指标结果才是有价值的。

    有赞coder
  • Spring Boot实现分布式微服务开发实战系列(七)

    今天已经进入第七讲了,整个微服务架构的搭建工作也基本完成。那到目前为止究竟使用了那些技术及实现了什么功能呢?我们先回顾一下。

    攻城狮的那点事
  • Spring cloud 之多种方式限流(实战)

    在频繁的网络请求时,服务有时候也会受到很大的压力,尤其是那种网络攻击,非法的。这样的情形有时候需要作一些限制。例如:限制对方的请求,这种限制可以有几个依据:请求...

    程序猿Damon
  • 从零开始仿写一个抖音App——日志和埋点以及后端初步架构本项目的 github 地址:MyTikTok

    拿 Java 来说:比如我们有两个服务 A、B 在两个服务器上,此时我们要在 A 上调用 B 的服务获取其上的数据 Foo。那么在 A 中可以写成 Foo f ...

    何时夕
  • 揭秘字节跳动埋点数据实时动态处理引擎(附源码)

    宝贝们,还记得前几天博主去的火山引擎大数据场嘛,其中比较令大家感兴趣的就是最后一讲,字节一站式埋点平台的 flink 标准化清洗及拆流任务。

    公众号:大数据羊说
  • App 可视化埋点技术实践精要

    目前数据统计已经是一个产品常见的需求趋势,尤其在业务模式探索的前期,或者产品成熟期,埋点功能更是必不可少的功能,下面将介绍最简单的App和前端全埋点方案。后续我...

    开发者技术前线

扫码关注云+社区

领取腾讯云代金券