专栏首页悦智云原生压测团队悬镜安全扫描导致4核cpu负载使用率400%
原创

悬镜安全扫描导致4核cpu负载使用率400%

【背景】

1、某KA项目通过压测执行结果qps24较低,曲线有毛刺,95ht延迟5秒左右较慢,同时看到后端服务4核cpu已打满400%,反馈给研发同学排查问题

接口:/pwp/rest/portalgxhaction/getAllAppData 12获取应用列表

吞吐量(req/s):24.34

报错率:0%

95%分位的平均响应时间(ms):5330

并发量:100

持续时间:300s

数据分析:qps24较低,曲线有毛刺,4核cpu已打满400%

测试时间:2021-11-24 21:20:18 到2021-11-24 21:25:45

【排障过程】

17:00 研发一开始以为是sql慢查询导致cpu资源占用打满,TDsql全局搜索慢qls也没监测到

17:09 陆斌 ,讨论用火焰图打印排查

17:14 陆斌 ,看下web服务器,cpu压测力也就20%左右

17:15 赵步旺,那个cpu20%左右是那个数组机的,不是我们这个pod的,所以那个没有关联,应该看下我们pod下面的cpu

17:17 徐攀棒,那个cpu为什么那么卡?cpu资源负载达到400%左右

17:18 仇洋菁内存消耗6G多,内存还没满

17:21 赵步旺把火焰图打印出

17:35 赵步旺同步业务类的存在应用服务里面

17:37 压测打印耗时

17:38 压测看打印结果

17:40 压测耗时正常,耗时都没有超过1s

17:41 陈虎兵,这个是框架的安全防护,拦截较多

17:42 当时这块没有做过性能压测分析

17:44 发现安全模块两个过滤器get filter,一个是下面的那个post filter,等于做了两次安全监测。占用cpu使用率70%左右

17:45 陈虎兵明确了现在的性能个瓶颈就是在我们的这个web节点的cpu上面,这个已经明确

17:46 单容器单里面的四核cpu已经全部用完

17:47 调日程,把日程的过滤器调整一下配置

17:49 查看两个过滤器代码

17:51 authorized方法代码更改重写一下这个方法,认证通过返回值为空就可以

18:28 厂商悬镜安全整改完成,需要项目组申请。申请时长6小时

【复测结果】

整改完成后的压测结果

接口:/pwp/rest/portalgxhaction/getAllAppData 获取应用列表

吞吐量(req/s):172

报错率:0%

95%分位的平均响应时间(ms):1690

并发量:150

持续时间:300s

数据分析:

测试时间:2021-11-24 23:47:18 到2021-11-24 23:52:45

原创声明,本文系作者授权云+社区发表,未经许可,不得转载。

如有侵权,请联系 yunjia_community@tencent.com 删除。

登录 后参与评论
0 条评论

相关文章

  • 主流激光雷达分类及原理

    机械旋转式Lidar的发射和接收模块存在宏观意义上的转动。在竖直方向上排布多组激光线束,发射模块以一定频率发射激光线,通过不断旋转发射头实现动态扫描。

    美团无人配送
  • Kubernetes 动态创建 Jenkins Agent 压力测试

    前面我们利用 Kubernetes 提供的弹性,在 Kubernetes 上动态创建 Jenkins Slave,本文主要是对 Jenkins 进行大规模构建的...

    我是阳明
  • 成套那些事儿|某线缆生产设备电气成套存在问题分析

    本周开始剑指工控特邀“西门子技术支持论坛S7-1200/S7-1500/S7-300/400版区版主:黄岑(Zane)”在剑指工控开设专栏“成套那些事儿”,和大...

    剑指工控
  • 装了激光雷达的iPad Pro,还能用鼠标了:苹果新键盘、新iPad Pro、新MacBook Air来了

    苹果产品,再次上新,带来终于可以用“鼠标”的新一代iPad Pro,和终于256G起跳的新款MacBook Air。

    量子位
  • 400万Docker镜像中,51%的镜像存在高危漏洞

    通过扫描 Docker Hub 中的 400 万个容器镜像,Prevasio 发现 ,其中有 51% 的镜像存在高危漏洞,并且有 6432 个镜像包含病毒或恶意...

    深度学习与Python
  • 好文 | Zabbix监控 MYSQL,Mysql 版本基准性能比较,Mysql8.0主主配置

    Zabbix监控Mysql | Mysql 5.7,8.0基准性能比较,Mysql8.0主主配置

    Zabbix
  • 2019年度容器安全现状分析

    随着越来越多的组织向微服务/DevOps转型,容器生态系统每年都会发生很大的变化。近期,Sysdig发布了《2019年度容器使用报告》,报告中大篇幅的介绍了20...

    绿盟科技研究通讯
  • 云服务器使用最佳实践(腾讯云TAM呕心沥血之作)

    https://cloud.tencent.com/document/product/213/15374

    乡村小男孩
  • Docker CheatSheet | Docker 配置与实践清单

    Docker 是一个开源的应用容器引擎,基于 Go 语言 并遵从 Apache2.0 协议开源。Docker 可以让开发者打包他们的应用以及依赖包到一个轻量级、...

    王下邀月熊
  • Docker容器安全性分析

    Docker是目前最具代表性的容器技术之一,对云计算及虚拟化技术产生了颠覆性的影响。本文对Docker容器在应用中可能面临的安全问题和风险进行了研究,并将Doc...

    FB客服
  • 11月腾讯云容器产品技术月报|转发集赞抢腾讯周边

    2021年11月 VOL:19 腾小云告诉你最前线的产品新特性, 总有一款让你心动~ 云说新品 容器产品新特性11月上新 腾讯云边缘服务TK...

    腾讯云原生
  • 这款“悬停”高增益毫米波天线阵列,将解决5G毫米波通信的收发问题 | 黑科技

    镁客网
  • 一个极简安全软件——火绒安全

    请注意,本文编写于 1578 天前,最后修改于 783 天前,其中某些信息可能已经过时。

    uniartisan
  • 再次捕获云上在野容器攻击,TeamTNT黑产攻击方法揭秘

    一、背景 腾讯安全云鼎实验室持续监控云原生在野攻击威胁态势,继DockerHub发现百万下载量黑产镜像(详见文章DockerHub再现百万下载量黑产镜像,小心...

    云鼎实验室
  • AWS 容器服务的安全实践

    随着微服务的设计模式得到越来越多开发者的实践,容器和微服务已经在生产环境中开始了规模化的部署。在这一过程中,也面临着越来越多的挑战。比如说,很多的微服务之间是相...

    我是阳明
  • MySQL性能基准测试对比:MySQL 5.7与MySQL 8.0

    版权声明:本文由腾讯云数据库产品团队整理,页面原始内容来自于db weekly英文官网,若转载请注明出处。翻译目的在于传递更多全球最新数据库领域相关信息,并不意...

    腾讯技术工程官方号

扫码关注云+社区

领取腾讯云代金券