学习
实践
活动
专区
工具
TVP
写文章
专栏首页CSIG质量部压测团队【项目实战-12】排查12小时,竟是CLB安全组没打开
原创

【项目实战-12】排查12小时,竟是CLB安全组没打开

【摘要】

案例:程序逻辑在没有任何变更的情况下,研发耗费了12小时20200610 02:00 ~ 20200610 14:00) 排查登录接口耗时长的问题。此案例提供了腾讯云上全链路(ecdn->waf->clb->ngnix->业务方后台)的排查思路: 简化链路,逐环节排查

【问题表现】

合作方APP,准备提交苹果审核的时候,发现登录接口会卡很长时间,然后就报错。

【问题分析与排查思路】

1. 首先排查业务方后台,这个对开发而言是最容易的。

【20200610 02:00】首先怀疑接口参数不正确,因为DB最近一直在做数据迁移,代码可能没有同步。

 开发检查了业务逻辑代码,并未发现明显异常问题。

【20200610 03:00】排查redis。发现redis中的token不存在,怀疑redis爆满问题。

 清空redis,并重启redis读写实例,问题没有改善。

【20200610 11:13】分析业务日志,确实有耗时长的问题,但无从分析。

token获取不到的响应包如下:

{"accessToken":null,"identityToken":null,"tokenType":null,"refreshToken":null,"error":"invalid_grant","expiresIn":0}

接口调用无论是成功还是失败,耗时都比较短。重新设置超时为3秒,发现耗时不稳定:一半请求是300ms,一半请求是3秒。

2. 怀疑链路有问题,进行全链路排查:ecdn -> waf -> clb -> nginx

首先怀疑ecdn。运营同学把ecdn切换到专用链路,问题没有解决。

去掉ecdn,耗时现象依然存在

把域名直接cname到waf的域名,绕过ecdn。发现延时并没有改善。从日志来看,存在请求时间3秒左右的情况,概率还很高。

抓包分析,源站确实存在3秒回包的现象

分析WAF,发现某个回源IP(106.55.175.62:443)有不少连接超时。

该回源IP对应的是一个CLB,所以去看看CLB是否有异常。

入站做了限制。从操作记录来看,是昨晚做压测的时候没有去掉,具体时间是昨晚10:43分开始。

【总结】

  1. 收敛权限:无关人员账号已完成清理,并把控制台写操作日志拉出来做一个变更大盘。
  2. 更高效的排方式: 后类似问题再出现时,寻找最短恢复路径,可以按照业务访问路径端到端一段一段的,逐步缩小问题。

原创声明,本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

登录 后参与评论
0 条评论

相关文章

  • 【必看】社区文章目录

    Nanako
  • 社区精华文章目录

    cailynyu
  • 【腾讯云的1001种玩法】在腾讯云上创建您的 SQL Server 故障转移集群(4)

    在腾讯云上创建您的 SQL Cluster(3) 和在腾讯云上创建您的 SQL Cluster(2) 的两篇文章中我们准备好了 iscsi 存储,并让两台 SQ...

    李斯达
  • 浅谈企业级供应链投毒应急安全能力建设

    '''在此之前写了不少企业安全建设实践方面的文章,那建设的效果怎么样呢?唯有在日常的工作场景中应用,通过实战的检验,才能做出判断。本文将通过介绍供应链投毒的应急...

    aerfa
  • 中秋福利 | 15个系列100+篇超实用云原生原创干货合集(内含腾讯彩蛋)

    还有2天,就要迎来中秋小长假啦 这个中秋节你打算怎么过? 小云选择把这篇干货全部拿下! 云原生技术干货文章合集,来咯~ 2021 年,要说咱们技术圈子里什...

    腾讯云原生
  • 我也想说说日志,但是我不想说漏洞。

    我就想验证一下上手难度到底有多低,于是我翻了很多文章,都是大同小异,说出漏洞了,很牛逼,赶紧修吧,晚了就玩完啦。然后配上一个唤起了计算器的截图,就结束了,也没有...

    why技术
  • 前端系漫游指南

    这份指南纯粹是某人的自嗨产物,因为有不少人会来问他前端该如何入门种种,于是他就自己对于前端的认知整合了这玩意儿,仅代表个人意见,供以参考(´c_`)

    Jean
  • 抓包神器 Wireshark,帮你快速定位线上网络故障(1)

    「初入职场的菜菜同学」一心想靠 Java 技术来改变世界,未成想被网络环境问题缠身,于是抱着电脑,满怀希望的去找运维同事寻求帮助。

    一猿小讲
  • 刷个虎扑,还能刷到自己?-「编程杂感」第 6 期

    简单来说,货物编程就是我们不明就理地使用各种框架/优秀实践(比如设计模式)/软件架构,最后把项目搞得像个四不像。

    Guide哥
  • 论如何从APP测试搞到刷机

    作为一名安服仔,完成项目工作必然是本分所在,于是上周三老大扔了一个APK和API文档要进行测试,从这儿起,就注定我这不平凡的一周。。。

    Khan安全团队
  • 中部“第一城”,网安长沙以何安网?

    如今,中国已进入数字化建设高速发展期,发展数字经济、建设数字中国、智慧城市等成为新趋势。2021年,长沙数字经济总量预计接近4000亿元,位列2021数字经济城...

    用户2908108
  • 腾讯TMQ在线沙龙|老司机教你玩转Appium自动化测试

    Appium自动化测试 活动时间:2016年10月13日 QQ群视频交流 活动介绍:TMQ在线沙龙第十期分享 本次分享的主题是老司机教你玩转Appium自动化测...

    腾讯移动品质中心TMQ
  • Esp8266进阶之路⑨ 【小实战上篇】Windows系统搭建8266的本地Mqtt服务器,局域网点亮一盏LED灯。(带Demo)「建议收藏」

    发布者:全栈程序员栈长,转载请注明出处:https://javaforall.cn/140283.html原文链接:https://javaforall.cn

    全栈程序员站长
  • 实战PerfDog优化小游戏性能

    背景: 我们的引擎是Egret,使用的是原生的EUI,转微信小游戏; 工程第一版出来后使用PerfDog测试一波数据。结果发现很多问题,本文主要分两部分

    WeTest质量开放平台团队
  • 腾讯看点和微视开始裁员;俄罗斯数据存储告急;中文编写的操作系统“火龙”被质疑抄袭 | Q资讯

    腾讯被证实正在裁员,两大事业部是重灾区,对外招聘紧缩;豆瓣遭网信办进驻监督整改,App 已在各大应用商店下架;央视 315 晚会曝光:软件捆绑、浏览网页泄...

    深度学习与Python
  • 开发工具总结(7)之多年珍藏的Android开发必备网站和工具

    版权声明:本文为博主原创文章,未经博主允许不得转载。https://www.jianshu.com/p/781c1b56bc5b

    AWeiLoveAndroid

扫码关注腾讯云开发者

领取腾讯云代金券