专栏首页爱可生开源社区第09问:MySQL 莫名崩溃,如何保留现场?

第09问:MySQL 莫名崩溃,如何保留现场?

问题

我的 MySQL 偶尔崩溃,如果需要追查原因,应该如何保留现场?

实验

MySQL 随着版本不停迭代,崩溃的现象越来越少,也越来越隐蔽。

一旦遇到生产环境上的 MySQL 崩溃,就需要保留现场信息,供分析用。虽然 MySQL 的 error log 中会打印部分信息,但对于比较隐蔽的崩溃,往往显得力不从心。

因此我推荐开启 coredump,以备 MySQL 诊断需要。

我们来模拟一个崩溃场景,然后配置 coredump 看看效果。

选取一个容易复现崩溃的 bug,我们选择了 bug #95294。

我们先安装一个 5.7 的数据库,

将其停掉,按照 bug #95294 的描述变更配置,

手工启动 mysqld,可以看到 mysqld 无声无息的退出了,

检查 error log,可以看到 MySQL 是因为异常崩溃了,

error log 中有一段堆栈信息,可以用来判断这个崩溃的问题,

以上是 MySQL 能提供的所有信息,无法针对一些复杂场景进行分析。

下面我们开启 coredump,让 MySQL 在崩溃时能提供更多信息:

以下命令开启了系统级别一些参数,具体的释义大家可自行谷歌。此处需要注意,我们将 core 文件生成到了 /tmp 目录下,需要保证其磁盘空间足够大:

我们还需要调整 MySQL 运行用户的 ulimit,在本文中,MySQL 的运行用户是 root,我们调整其 core file 的限制,使其能生成 core dump:

最后,我们要在 MySQL 配置里,允许 MySQL 生成 coredump:

现在我们可以再次运行 MySQL:

可以看到 MySQL 崩溃时,会告知已生成了 core dump 文件。在 error log 中也会有同样的信息:

我们来看一下这个 coredump 文件:

coredump 文件会将崩溃当时的内存情况全部保留下来,所以文件体积会比较大。

在 MySQL 8.0.14 后,MySQL 提供了参数 innodb_buffer_pool_in_core_file,用于将 innodb buffer pool 从 coredump 中排除,用于减小 coredump 的体积。

那我们怎么使用 coredump 文件呢?可以用 gdb 去访问 coredump 文件,获取各种信息,此处举例如何获取所有线程的堆栈信息。

我们会得到一个非常长的堆栈信息,我们截取其中一小段,标注上简单的中文即可看懂。

结论

通过开启操作系统级别、放开用户限制、启用 MySQL 参数三个步骤,我们启用了 MySQL 的 coredump 功能,使得 MySQL 崩溃时留下了足够的线索。

对于复杂崩溃的分析,还是需要将 coredump 交给专业的研发工程师手里,或者提交给 MySQL 开发团队。

不过不管是什么场景,能提供一份 coredump,所有技术人员都会感谢你的。


本文分享自微信公众号 - 爱可生开源社区(ActiontechOSS),作者:黄炎

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2020-04-24

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 技术分享 | kubernetes 环境测试部署 MySQL 的随想

    爱可生研发团队成员,负责数据库管理平台相关项目的开发和故障排查,好奇 MySQL 技术原理及各类数据库实现方案。

    爱可生开源社区
  • 第01问:MySQL 一次 insert 刷几次盘?

    我们用 pt-ioprofile 跟踪 MySQL IO 的系统调用,统计了次数。

    爱可生开源社区
  • 第16问:创建一张表时,MySQL 的统计表是如何变化的?

    我们知道在 MySQL 中创建一张表时,一些统计表会发生变化,比如:mysql/innodb_index_stats,会多出几行对新表的描述。

    爱可生开源社区
  • 【概率论——上帝的赌术】第4话:暴走的假设检验

    第3话中说,正态分布曲线优雅惊艳,隐藏着人生百态,所以,跟着数说君一起大声说:做一个明媚的男子/女子,不奇葩,不富帅,只是倾尽所有的身心去等去爱,走向...

    小莹莹
  • 微信小程序自动化方案之准备

    用户5521279
  • 第1章:监督学习和朴素贝叶斯分类 - 第2部分(编码)

    注意:如果你没有经历过朴素贝叶斯理论的第一部分,我建议你仔细阅读。(4 分钟阅读)这里。

    iOSDevLog
  • 【犀牛鸟论道】社会传播学的若干课题与实践

    社会传播学的若干课题与实践 贺鹏、易玲玲、高瀚、陈川 腾讯微信数据中心社会传播组 [摘要]俗话说“酒香不怕巷子深”,表面上说的是酒香引人,实际上是指好酒在街坊邻...

    腾讯高校合作
  • WinForm 为 DataGridViewCell 绑定 DataGridView

    先上效果图。 ? ? 对外提供一个 public 的方法: // 正常 Type1 是 JSON 的数据集或者 BSON 的数据集 public void ...

    Venyo
  • 响铃:俞敏洪不是新东方的瓶颈,“选择困难症”才是

    年前新东方吐槽视频的事本来应该冷了下去,年后一篇《新东方的瓶颈:俞敏洪本人》突然又将其推向台前,该文经过一系列复杂的“技术分析”,认为问题最终要出在俞敏洪本人的...

    曾响铃
  • 《跃迁-成为高手的技术》感悟

      在公司里听到别人说起一本自己没读过的书,或者看到听到别人引用了一个词、一句话查到出自哪本书。那这本书静儿是一定要去读的。因为不了解别人读的书,有很大概率不了...

    静儿

扫码关注云+社区

领取腾讯云代金券