2022.11.07号下班路上突然收到许多用户反馈,说小程序进不去了。然后自己试了一下,打开一直转圈,于是快马加鞭赶回家,打开了电脑。
打开电脑,尝试连接SSH,连接时间比正常情况下要多不少。等待的过程中同时登录腾讯云后台,排查之后发现情况如下:
按理说照这个情况服务器应该游刃有余,然后通过腾讯云服务器日志的历史记录和小程序后台数据比对,发现变化:
通过负载看不出大的问题,继续排查。
通过Top命令发现php-fpm进程比平时多了很多,大概数了一下有70多个,达到设置的上限150个还差不少。
# top #查看进程运行情况
# ........
ss命令用来显示处于活动状态的套接字信息,看了一下跟腾讯云显示的差不多
$ s -ss #套接字信息
$ netstat -n | awk '/^tcp/ {++S[$NF]} END { for(a in S) print(a,S[a])}' #百度找的
....
顺带检查了一下,TCP连接数10s才400多,Ngixn上限设置的5w多...
# worker_connections 51200;
show status like 'Threads%'; //查看连接数
show processlist; //查看连接数
总数40多个,大部分处于空闲休眠,活跃的也没几个。顺带看了一下设置的连接数上限,450,够用😂。
打开mysq慢日志,设置5s上限,等待了一会,一条也没有。
PHP新产生的运行错误日志不少,大部分是SSL握手失败,想了想唯一请求的外部接口好像只有小程序服务端的接口,人家大厂不至于是他们的问题,问题在我这。
打开调试模式,自己模拟请求登录接口,等待了10多秒才有反应,然后多请求几次,最后程序报错,问题定位到一个IP归属地识别接口(高德高精度IP地址接口),请求它的时候一直超时,SSL握手失败。
于是乎,直接删除这个IP地址识别这个功能,再次打开小程序流畅了不少。
当日访问用户7000+,由于小程序的登录状态没有本地保存,所以每次打开的时候都会重新请求登录,进而请求IP地址识别接口。
高德的接口有频率限制,和次数上限,然后可能触发了人家的防御机制,导致服务器IP被封禁了。然后所有新的登录请求全部被卡住,导致小程序访问卡死。
后续删除了IP地址识别功能的代码,细想其实本身也没有使用的必要。
小程序一开始没想过会有这么多用户,所以没上Redis,经过这件事,看来还是有抽空改进的必要。
小程序使用的数据库有几十万的完全无用的数据(上传记录),可以进行归档,只保留最近的一些新数据。
经过用户的反馈,当日峰值来自于某学校11.07下午6点后搞的活动,2500多人,用到了这个小程序。