今天带着同事一起分析了一个常见的MySQL慢日志报警，从分析的过程希望带给大家一些启示和反思。
慢日志在日常数据库运维中经常会用到，我们可以通过查看慢日志来获得效率较差的 SQL ，然后可以进行 SQL 优化。本篇文章我们一起来学习下慢日志相关知识。
1.慢查询日志概念(也叫慢日志):在 MySQL 中执行时间超过指定时间的 SQL 语句
爱可生交付服务部南区团队 DBA，主要负责公司自动化运维平台 DMP 维护和数据库日常问题处理。
在MySQL的日常维护中，我们总会遇到这样或那样的问题，对于那些经常发生且有处理经验的事故，不论是新手还是老司机都能在故障规定的容错时间内解决。而对于那些不常见、比较棘手的问题，新手上路可能就显得举足无措了，这个时候新手和老司机的差距就体现出来了。从知识储备还是工作经验，可能老司机比新手强一点，但如果一个新司机没有日志排错的意识，不具备日志排错的经验，那怎么能学会弯道超车、漂移的快感。我们知道数据库中有很多重要的日志，如错误日志error log、慢日志slow log、二进制日志binary log、查询日志general log等等其他日志，错误日志error log是我们分析问题参考的依据，它记录数据库的启动/运行/停止的过程，包含了info、warning、error三个级别，分析error log也有助于我们了解数据库的运行机制。
MySQL 慢日志（slow log）是 MySQL DBA 及其他开发、运维人员需经常关注的一类信息。使用慢日志可找出执行时间较长或未走索引等 SQL 语句，为进行系统调优提供依据。 本文将结合一个线上案例，分析如何正确设置 MySQL 慢日志参数和使用慢日志功能，并介绍下网易云 RDS 对 MySQL 慢日志功能的增强。
58 集团业务种类繁多，目前包括的业务有 58 同城、赶集网、安居客、58 金融公司、中华英才网、驾校一点通等，数据库种类包括 MySQL、Redis、MongoDB、ES、TiDB。我们自己构建了“58 云 DB 平台”，整合了所有数据库的一体化运维。
根据其中的关键字180117094502ord37425097，在WireShark搜索抓包结果，filter填写：
MySQL 的慢查询日志是 MySQL 提供的一种日志记录，它用来记录在 MySQL 中查询响应时间超过阈值的语句，具体指响应时间超过
上周五面试了字节的第三面，深感数据库知识的重要，我也意识到在平时的学习中，自己对于数据库的学习较为薄弱。甚至在有过一定实习经验之后，依旧因为开发分工的原因，对数据库方面的知识掌握依旧不多。我也相信，很多人对MySQL的 索引、 日志、 多版本并发控制、 ACID等等都只停留在八股文的阶段。
一、前言 在互联网时代，业务规模常常出现爆发式的增长。快速的实例交付，数据库优化以及备份管理等任务都对DBA产生了更高的要求，单纯的凭借记忆力去管理那几十套DB已经不再适用。那么如何去批量管理这些实例的备份、元数据、定时脚本和快速实例交付就成了急需解决的的问题。 二、数据库的标准化 在实现MySQL的自动化运维的过程中，最痛苦的无非是目录的不统一，配置文件的混乱以及DB主机的不标准，而这些不标准的环境会让自动化运维的路途荆棘重重。所以首先我们将相应的DB主机以及目录做了标准化，将以前不符合的标准的主机和实例
有赞作为"新零售"的软件服务供应商，随着业务的不断发展，从第一批几十家商户到现在300万商家，涉及零售，美业，餐饮，自媒体等众多商家，业务规模以及访问量爆发式增长。一方面给后端数据库带来的影响是服务器数量和DB实例的数据量出现成倍增加。各种业务需求:快速交付实例，慢查询优化以及备份恢复管理等都给DBA的日常运维支持带来更高的要求。另一方面最开始以excel作为CMDB管理数据库实例的纯人肉运维又给高效的数据库运维带来阻碍。
今天是星期一，也是双十一，问了一圈周边的人，好像没有买东西的居多，大家都是不知道该买啥好，看来像我一样的老年人变多了，工作了一天，累了，写完早点休息了。。。
在应用的的开发过程中，由于初期数据量小，开发人员写 SQL 语句时更重视功能上的实现，但是
php.ini是php运行核心配置文件,下面是一些常用配置 extension_dir="" 设置PHP的扩展库路径 expose_php = Off 避免PHP信息暴露在http头中 display_errors = Off 避免暴露php调用mysql的错误信息 log_errors = On 在关闭display_errors后开启PHP错误日志（路径在php-fpm.conf中配置） zend_extension=opcache.so extension=mysqli.so
原文：http://www.monitis.com/blog/101-tips-to-mysql-tuning-and-optimization/ MySQL是一个强大的开源数据库。随着MySQL上的应用越来越多，MySQL逐渐遇到了瓶颈。这里提供 101 条优化 MySQL 的建议。有些技巧适合特定的安装环境，但是思路是相通的。我已经将它们分成了几类以帮助你理解。 Mysql 监控 MySQL服务器硬件和OS（操作系统）调优： 1、有足够的物理内存，能将整个InnoDB文件加载到内存里 —— 如果访问
MySQL是一个强大的开源数据库。随着MySQL上的应用越来越多，MySQL逐渐遇到了瓶颈。这里提供 101 条优化 MySQL 的建议。有些技巧适合特定的安装环境，但是思路是相通的。我已经将它们分成了几类以帮助你理解。 MySQL监控MySQL服务器硬件和OS（操作系统）调优： 1、有足够的物理内存，能将整个InnoDB文件加载到内存里 —— 如果访问的文件在内存里，而不是在磁盘上，InnoDB会快很多。 2、全力避免 Swap 操作 — 交换（swapping）是从磁盘读取数据，所以会很慢。 3、使用电
工程师反馈数据库服务器内存使用率高，并且之前曾触发告警，登录服务器使用top -u mysql查看进程使用内存信息：
MySQL的慢查询日志是MySQL提供的一种日志记录，他用来记录在MySQL中响应的时间超过阈值的语句，具体指运行时间超过long_query_time（默认是10秒）值的SQL，会被记录到慢查询日志中。
一般现在对于业务要查询的数据量以及要保持的并发量高于一定配置的单实例 MySQL 的极限的情况，都会采取分库分表的方案解决。当然，现在也有很多 new SQL 的分布式数据库的解决方案，如果你用的是 MySQL，那么你可以考虑 TiDB（实现了 MySQL 协议，兼容 MySQL 客户端以及 SQL 语句）。如果你用的是的 PgSQL，那么你可以考虑使用 YugaByteDB（实现了 PgSQL 协议，兼容 PgSQL 客户端以及 SQL 语句），他们目前都有自己的云部署解决方案，你可以试试：
在MySQL数据库中，想了解数据库运行情况的重要指标之一是慢SQL。而并非如某些人所说的所有运行慢的SQL都会被记录在慢SQL日志（或日志表）里，抑或是没有慢SQL就代表没有运行慢的SQL。本文将总结一些比较常见的运行比较慢但不会被记录在慢SQL日志里的情况。另外，慢SQL的计算方式在MySQL8.0新版本中有变化，因此，将通过对比MySQL5.7（MySQL5.7.38）与MySQL8.0（MySQL8.0.33）进行总结。
监控系统监控到我们的程序变慢了，怀疑是sql的原因，要怎么去分析排查呢？一般按照如下几个步骤进行：
MySQL 的慢查询日志是 MySQL 提供的一种日志记录，它用来记录在 MySQL 中响应时间超过阀值的语句，具体指运行时间超过long_query_time值的 SQL，则会被记录到慢查询日志中。long_query_time的默认值为10，意思是运行10s以上的语句。
数据库中专门用于帮助用户快速查找数据的一种数据结构。类似于字典中的目录，查找字典内容时可以根据目录查找到数据的存放位置吗，然后直接获取
第二层架构是MySQL比较有意思的部分，大多数MySQL的核心服务功能都在这一层，包括增删查改以及所有的内置函数。 所有跨存储引擎的功能都在这一层实现，存储过程、触发器、视图等。
今天在测试一个线上功能的时候，发现了slowlog的一个特点，之前从来没遇到。这里分享一下。
在MySQL中，对于性能问题诊断，最开始的时候总是感觉有些束手无策，如果一个人问你，MySQL数据库响应慢了，该怎么办，如果数据库服务器CPU 100%了该怎么吧，或者数据库连接不上了，业务提示无法连接该怎么办，看起来好像没有太大的关系的问题，其实我们能够分析的一个入口就是日志。
目前是多点Dmall数据库架构师，更早是聚美数据库团队负责人，擅长高并发下数据库架构，运维保障，数据库平台建设。
Mysql slow log提供了一种方式对数据库中慢查询进行记录并且对日志进行输出，以便于我们定位服务器性能问题。我们可能会简单的把它理解为记录所有执行时间超过long_query_time的查询，其实这仅仅是其中一个条件。下面我们从源码角度分析一下slow log的写入机制。
在项目里面，多多少少都隐藏着一些执行比较慢的SQL, 不同的开发测试人员在平时使用的过程中多多少少都能够遇到，但是无法立马有时间去排查解决。那么如果有一个文件能够将这些使用过程中比较慢的SQL记录下来，定期去分析排查，那该多美好啊。这种情况MySQL也替我们想到了，它提供了SQL慢查询的日志，本文就分享下如何使用吧。
大家好，我是田维常，可以叫我老田，也可以叫我田哥。2017年的时候，我刚去上海，朋友内推我去美团面试，之前我也写过一个一篇文章，也是在美团面试中遇到的：
作为一名DBA，分析MySQL数据库的慢日志是一项经常会遇到的任务，今天我们来看下mysql官方自带的慢日志分析工具mysqldumpslow。
今天收到一个业务报警，提示某个数据库实例的连接数暴涨，然后瞬间又恢复了，这种情况持续反复了几次，和开发同学沟通时，他们也希望能够得到更多的信息，比如是哪个数据库的连接数异常暴涨，我也想知道啊，但是苦于没有合适的工具和方法能够实现更细粒度的监控/统计，于是我着手开始分析这个问题。
上周五下午的时候，线上的一个服务器出了一个报警，报警内容是CPU利用率大于80%，持续时间五分钟。
本文介绍了MySQL慢日志的作用、设置方法、查看方法以及相关的分析工具。慢日志是MySQL性能调优和诊断的重要工具，用于记录在MySQL中响应时间超过阈值的SQL语句。通过设置slow_query_log和long_query_time参数可以开启慢日志。使用mysqldumpslow、pt-query-digest等工具可以对慢日志进行分析。
ELK最早是Elasticsearch（以下简称ES）、Logstash、Kibana三款开源软件的简称，三款软件后来被同一公司收购，并加入了Xpark、Beats等组件，改名为Elastic Stack，成为现在最流行的开源日志解决方案，虽然有了新名字但大家依然喜欢叫她ELK，现在所说的ELK就指的是基于这些开源软件构建的日志系统。
4、去数据库数据目录 我的是(D:\MYSQL\data) 你会发现多了一个log.txt文件
数据是创立Asana的核心部分，并且每一个团队都依赖他们自己的方式。我们的负责增长的团队依靠事件数据来分析试验结果（对比试验）。我们做很多快速的实验–通常会有很多实验一起跑–让这些互相影响的作用和其他关键度量引导我们需要放弃什么和投入什么。 项目经理，设计师和产品工程师通过分析使用数据来发现不可避免的妥协，比如简洁性对强大性。通过这种方法，我们可以知道什么样的新产品方向能够释放出最多的潜力。 市场部门需要明确在他们的竞争力中的哪个部分能够驱使新用户到Asana。财会部门需要非常可靠的关于总体增长模式的统
学完数据库基础知识，要想更深入地了解数据库，就需要学习数据库进阶知识，今天我们就先来聊一聊慢SQL查询那些事儿。
慢日志查询的主要功能就是，记录sql语句中超过设定的时间阈值的查询语句。例如，一条查询sql语句，我们设置的阈值为1s，当这条查询语句的执行时间超过了1s，则将被写入到慢查询配置的日志中.
通常对于MySQL运行慢、异常运行等等现象，需要通过收集当时的诊断报告以便后期重点分析并且给出对应解决方案。对于MySQL来讲，目前收集诊断报告的方法大致有以下几类：
爱可生交付服务部团队 DBA 擅长日志分析、问题排查等；主要负责处理 MySQL 与我司自研数据库自动化管理平台 DMP 的日常运维问题，对数据库及周边技术有浓厚的学习兴趣。
慢日志查询的主要功能就是，记录sql语句中超过设定的时间阈值的查询语句。例如，一条查询sql语句，我们设置的阈值为1s，当这条查询语句的执行时间超过了1s，则将被写入到慢查询配置的日志中. 慢查询主要是为了我们做sql语句的优化功能.
9月4日，阅文集团技术专家俞慧涛在 TARS 基金会召开的线上研讨会（中国站）上进行了题为「CTSDB 与 TARS 结合，解决海量监控数据的难题」的分享，对如何通过时序数据库 CTSDB 与 TARS 的结合解决海量监控数据难题的应用实践进行了深度诠释。本文将详细介绍该分享内容。
如何查找MySQL中查询慢的SQL语句
对于当前数据库的监控方式有很多，分为数据库自带、商用、开源三大类，每一种都有各自的特色；而对于 mysql 数据库由于其有很高的社区活跃度，监控方式更是多种多样，不管哪种监控方式最核心的就是监控数据，获取得到全面的监控数据后就是灵活的展示部分。
在MySQL中，如果我们使用了默认的存储引擎innodb创建一张表，那么在文件夹下面就会出现表名.frm和表名.ibd两个文件，如果我们使用的是Myisam存储引擎，那么就会出现三个文件，这里我们给出例子：
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM
