记一次mysql数据库cpu暴涨100%事故

记一次数据库服务器cpu暴涨100%的线上事故。

在公司监控大盘上看到了我负责的项目的数据库服务器CPU达到100%了, 于是紧急排查问题。仔细的看了一下监控大盘，发现时间从下午3点47分起就开始迅速上升到满cpu的情况，并且持续了23分钟，之后又断断续续的满cpu，每次持续时间大概在几分钟到10分钟左右。第一反应是想到是不是服务器有什么错误日志没输出，检查了elk中的错误，没有错误异常。第二个排查的地方是检查从3点47分起开始的访问量看看是不是并发比较高，发现访问量也是正常的，qps大概在60左右。于是下去找运维要一份数据库的慢sql，但是运维还没看到有慢sql(这点不清楚运维的慢sql是怎么记录日志的，按道理是应该有慢sql)。于是通过show processlist查询到了大概4，5条正在执行的查询。发现用户是我们yearning的用户，而不是应用的用户，并且query_start的起始时间距离现在也差不多在7，8分钟左右。将该sql展开发现是一个在yearning上面执行的inner join，我们是有分表的措施的，将数据按照不同企业维度分摊到10个表。平均一张表大概在10万左右的数据量，同事执行的inner join查询通过explain关键词分析发现该语句笛卡尔积之后的扫描行数足足有6亿行，最后筛选出了89行符合要求的数据。跟同事沟通了一下才发现是他执行的复杂查询。让运维帮忙kill掉查询语句后，数据库cpu恢复正常。

通过这次事故，也暴露出了几个不足：1. 不应该在业务数据库上执行过于复杂的查询，特别是复杂join查询这种容易嵌套循环查询的语句。2. yearning查询用户的权限给的过高，应该设置如果超出3秒的查询应及时中断，不应该影响到业务数据库的性能指标。