首先，如果使用了长连接而长期没有对数据库进行任何操作，那么在timeout值后，MySQL server就会关闭此连接，而客户端在执行查询的时候就会得到一个类似于“mysql server has gone away“这样的错误。
你知道MySQL启停都做了些什么吗？启动的时候初始化配置文件，读取redo配合binlog进行事务recover，停止的时候好像没有啥操作可做；印象中除了这些，就再没有了，至少在今天之前，我是这么认为的，我是真的肤浅。今天就来聊一聊MySQL关于启停的常规操作。
你知道MySQL启停都做了些什么吗？ 启动的时候初始化配置文件，读取redo配合binlog进行事务recover；停止的时候好像没有啥操作可做；印象中除了这些，就再没有了，至少在今天之前，我是这么认为的，我是真的肤浅。 今天就来聊一聊MySQL关于启停的常规操作。
numa是控制cpu分配内存的控制手段，比如8核cpu 64G内存，每个核心分为8个核心的内存大家就不会争抢资源了，那为什么要关闭numa呢？
-- select * from information_schema.PROCESSLIST where info is not null;
前言 性能测试过程中，数据库相关指标的监控是不可忽视的，在这里我们就MySQL的监控配置及重点涉及性能的一些参数进行说明。 在笔者的日常性能测试过程中，重点关注了这些参数，但不代表仅仅只有这些参数对性能有影响。 还需要大家在实践过程中，结合实际情况来调整相关参数，分析相关指标。达成深入优化的效果。 配置 配置以下配置选项开启记录慢查询和没有使用索引的查询功能 编辑 my.cnf或者my.ini文件。 注： 只对linux下进行说明。windows请自行去搜索。 将下述几行前的注释符号去掉，以开启相关功能 l
欢迎阅读 陈同学博客原文 参考资料 MySQL Threads The threads Table How MySQL Uses Threads for Client Connections MySQ
DBUtils简单说python实现的线程化数据库连接(连接池)，DBUtils支持所有遵循DP-API 2规范的数据库连接模块，例如：mysql、sqlserver、oracle、sqlite3等，更多请参考官网：https://cito.github.io/DBUtils/UsersGuide.html。
最近项目开发用到MySQL，想要查看后台执行的sql语句，立马google得知、可以使用 show processlist; 命令来解决，通过里面输出结果的字段解释中可以分析执行了的sql语句类型，但发现不太适合一般的初级使用者，而通过日志文件查看sql语句是最直接的方法。
持久化存储有3中基础的存储机制：文件、数据库(关系型和非关系型)以及一些混合类型。文件存储不适合大型项目，需要使用数据库存储，MySQL是目前持久化存储中最流行的解决方案。
当我们在执行mysqladmin status 命令或连接通过mysql客户端连接到实例后，执行\s的时候，应该看到类似以下的内容：
当数据量比较大，若SQL语句写的不合适，会导致SQL的执行效率低，我们需要等待很长时间才能拿到结果
MySQL的服务实现通过后台多个线程、内存池、文件交互来实现对外服务的，不同线程实现不同的资源操作，各个线程相互协助，共同来完成数据库的服务。MySQL常用的后台线程概括如下，分为Master Thread，IO Thread，Purge Thread，Page Cleaner Thread
每当执行SQL运行缓慢时，我们都会使用 show processlist 查看一下mysql当前进程的执行情况；（如下）
从这个错误的位点来看，在主库flush binary logs后，视乎主库的DUMP线程又在重新发送老的mysql-binlog.000035这个binlog。报错是因为以前是GTID模式，但是测试的时候已经改为了POSITION模式，是主库DUMP线程在检测主库的GTID Event和从库的GTID模式是否兼容的时候报出来的，如下图
如果还不行。 那么应该是数据库在执行数据操作失败 or 事务未提交 之后,将需要执行的sql语句锁死了。
一，常规数据库连接 常规数据库连接一般由以下六个步骤构成： 装载数据库驱动程序； 建立数据库连接； 创建数据库操作对象 访问数据库，执行sql语句； 处理返回结果集 断开数据库连接。 public
当单台 MYSQL 服务器无法满足当前网站流量时的优化方案。需要搭建 mysql 集群技术。
最近一套MySQL，show processlist的时候，看到很多会话状态是Opening tables，这是什么意思？
前言： 我们常用 show processlist 或 show full processlist 查看数据库连接状态，其中比较关注的是 State 列，此列表示该连接此刻所在的状态。那么你真的了解不同 State 值所表示的状态吗？下面我们参考官方文档来一探究竟 。
1）主服务器将所有数据和结构更改记录到二进制日志中。 2）从属服务器从主服务器请求该二进制日志并在本地应用其内容。 3）IO：请求主库，获取上一次执行过的新的事件，并存放到relaylog 4）SQL：从relaylog中将sql语句翻译给从库执行
◆ CPU 占用过高常见现象 在使用 MySQL 的过程中会遇到各种瓶颈问题，常见的是 IO 瓶颈，但是有时候会出现服务器 CPU 使用率超过 100%，应用页面访问慢，登录服务器负载很高。而导致这个问题竟然是 MySQL 进程，按理说如果 MySQL 运行稳定，服务器的 CPU 资源并不会跑满，如果出现这个问题，初步可以断定，是 MySQL 实例中出现了问题 SQL。 ◆ CPU 占用过高常见原因 CPU 占用过高常见原因： 服务器硬件问题 内存溢出 业务高并发 如果是业务高并发引起，可以理解为一种业务繁
之所以写这篇文章也是因为前几天出的一个问题，当时业务感觉到卡顿，并且伴随着锁超时的报错。最后通过分析发现是由于磁盘I/Q繁忙导致SQL耗时增加，部分锁竞争激烈的热数据出现了锁等待和锁超时。由此可见，系统的硬件环境对数据库整体性能的影响也是非常大的，MySQL在运行环境中并不是孤立存在的，它的整体性能往往受限于系统最薄弱的环节，今天想和大家分享下，都有哪些系统指标会对数据库的整体性能产生影响，我们又如何进行分析。
第2层sql处理层（SQL Layer）：主要有SQL Interface、Parser、Optimizer、Cache和Buffer
在mysql中锁表与表解锁，我们用到lock与unlock了，今天我来给各位朋友整理一些在使用lock tables与unlock tables过程中的一些经验分享。
我们已经写了很多 MySQL 的文章了，比如索引优化、数据库锁、主从复制等等。今天在来和大家学习一个优化方法：show processlist——查看当前所有数据库连接的 session 状态。帮助我们查看每个 SQL 线程的运行状态，是运行正常呀，还是 sleep 了，还是其他什么情况。
Python 标准数据库接口为 Python DB-API，Python DB-API为开发人员提供了数据库应用编程接口。Python 数据库接口支持非常多的数据库，你可以选择适合你项目的数据库：
自幼受贵州大山的熏陶，养成了诚实质朴的性格。经过寒窗苦读，考入BIT，为完成自己的教师梦，放弃IT、航天等工作，成为贵财一名大学教师，并想把自己所学所感真心传授给自己的学生，帮助更多陌生人。
第三方平台调用我方平台接口后导致服务不可用，数据库大量sleep线程，请求数据库无响应；数据库及代码无任何报错，无法定位问题。第三方接口首次请求并不会触发该问题。
Bulk Insert 在批量插入数据时，并非直接将key写入 B-tree，而是写入红黑树，当红黑树达到上限时，将所有的key写入磁盘。写入的key 流 是已经排序好的，所以写入非常快
存储引擎API包含了十几个底层函数，如执行 “ 开始一个事务 ” ，或取出有特定主键的行，但存储引擎 一般不会去解析SQL， （InnoDB会解析外键定义，因为其本身没有实现该功能），不同存储引擎之间也不会相互通信， 而只是简单的响应上层的服务器请求。
mysql-uroot-e”show processlist”|grep-i”Locked”>>locked_log.txt
MySQL 5.7发布后，在复制方面有了很大的改进和提升。比如开始支持多源复制(multi-source)以及真正的支持多线程复制了。多源复制可以使用基于二进制日子的复制或者基于事务的复制。下面我们说一说如何配置基于二进制日志的多源复制。
ON代表打开，OFF代表关闭 1代表打开，0代表关闭 TRUE代表打开，FALSE代表关闭
在IDEA中部署web项目到tomcat测试后， 关闭tomcat时可能遇到以下警告信息： com.mysql.jdbc.AbandonedConnectionCleanupThread.run(AbandonedConnectionCleanupThread.java:43)
Mysql性能优化 Mysql的性能参数可以分为以下几个大类，这里仅整理一些常用的参数配置
存储引擎 要了解mysql的锁，就要先从存储引擎说起。 常用存储引擎列表如下图所示： 最常使用的两种存储引擎： Myisam是Mysql的默认存储引擎。当create创建新表时，未指定新表的存储引擎时
(1)interactive_timeout ： 服务器在关闭它前在一个交互连接上等待行动的秒数。一个交互的客户被定义为对 mysql_real_connect()使用 CLIENT_INTERACTIVE 选项的客户。 默认数值是28800，我把它改为7200。
大多系统初生时就是这样，只是随业务不但发展变得复杂，架构迭代。系统上线后，虽用户量不大，但运行一切正常。不过领导觉得用户量太少，紧急调动运营做了某音的推广。带来大波流量，系统访问速度突然开始变慢。
数据库连接是一个很关键的有限的昂贵的资源，也容易对数据库造成安全隐患。因此，在程序初始化时，预先创建一定数量的数据库连接，并对其进行集中管理，就构成了数据库连接池，由程序动态地对池中的连接进行申请、使用和释放，既保证了较快的数据库读写速度，又提高了安全可靠性。
此前的文章中，我们介绍了 mysql 最常用的存储引擎 — innodb 的性能优化。 主要围绕参数、索引设置等方面进行。 Mysql Innodb 性能优化
从 hi!admin 抄来的一份配置.注释得非常好.精 #BEGIN CONFIG INFO #DESCR: 4GB RAM, 只使用InnoDB, ACID, 少量的连接, 队列负载大 #TYPE: SYSTEM #END CONFIG INFO # # 此mysql配置文件例子针对4G内存 # 主要使用INNODB #处理复杂队列并且连接数量较少的mysql服务器 # # 将此文件复制到/etc/my.cnf 作为全局设置, # mysql-data-dir/my.cnf 作为服务器指定设置 # (@localstatedir@ for this installation) 或者放入 # ~/.my.cnf 作为用户设置. # # 在此配置文件中, 你可以使用所有程序支持的长选项. # 如果想获悉程序支持的所有选项 # 请在程序后加上"--help"参数运行程序. # # 关于独立选项更多的细节信息可以在手册内找到 # # # 以下选项会被MySQL客户端应用读取. # 注意只有MySQL附带的客户端应用程序保证可以读取这段内容. # 如果你想你自己的MySQL应用程序获取这些值 # 需要在MySQL客户端库初始化的时候指定这些选项 # [client] #password = [your_password] port = @MYSQL_TCP_PORT@ socket = @MYSQL_UNIX_ADDR@ # *** 应用定制选项 *** # # MySQL 服务端 # [mysqld] # 一般配置选项 port = @MYSQL_TCP_PORT@ socket = @MYSQL_UNIX_ADDR@ # back_log 是操作系统在监听队列中所能保持的连接数, # 队列保存了在MySQL连接管理器线程处理之前的连接. # 如果你有非常高的连接率并且出现"connection refused" 报错, # 你就应该增加此处的值. # 检查你的操作系统文档来获取这个变量的最大值. # 如果将back_log设定到比你操作系统限制更高的值,将会没有效果 back_log = 50 # 不在TCP/IP端口上进行监听. # 如果所有的进程都是在同一台服务器连接到本地的mysqld, # 这样设置将是增强安全的方法 # 所有mysqld的连接都是通过Unix sockets 或者命名管道进行的. # 注意在windows下如果没有打开命名管道选项而只是用此项 # (通过 "enable-named-pipe" 选项) 将会导致mysql服务没有任何作用! #skip-networking # MySQL 服务所允许的同时会话数的上限 # 其中一个连接将被SUPER权限保留作为管理员登录. # 即便已经达到了连接数的上限. max_connections = 100 # 每个客户端连接最大的错误允许数量,如果达到了此限制. # 这个客户端将会被MySQL服务阻止直到执行了"FLUSH HOSTS" 或者服务重启 # 非法的密码以及其他在链接时的错误会增加此值. # 查看 "Aborted_connects" 状态来获取全局计数器. max_connect_errors = 10 # 所有线程所打开表的数量. # 增加此值就增加了mysqld所需要的文件描述符的数量 # 这样你需要确认在[mysqld_safe]中 "open-files-limit" 变量设置打开文件数量允许至少4096 table_cache = 2048 # 允许外部文件级别的锁. 打开文件锁会对性能造成负面影响 # 所以只有在你在同样的文件上运行多个数据库实例时才使用此选项(注意仍会有其他约束!) # 或者你在文件层面上使用了其他一些软件依赖来锁定MyISAM表 #external-locking # 服务所能处理的请求包的最大大小以及服务所能处理的最大的请求大小(当与大的BLOB字段一起工作时相当必要) # 每个连接独立的大小.大小动态增加 max_allowed_packet = 16M # 在一个事务中binlog为了记录SQL状态所持有的cache大小 # 如果你经常使用大的,多声明的事务,你可以增加此值来获取更大的性能. # 所有从事务来的状
备份是数据安全的最后一道防线，对于任何数据丢失的场景，备份虽然不一定能恢复百分之百的数据(取决于备份周期)，但至少能将损失降到最低。衡量备份恢复有两个重要的指标：恢复点目标(RPO)和恢复时间目标(RTO)，前者重点关注能恢复到什么程度，而后者则重点关注恢复需要多长时间。这篇文章主要讨论MySQL的备份方案，重点介绍几种备份方式的原理，包括文件系统快照(LVM)，逻辑备份工具Mysqldump，Mydumper，以及物理备份工具Xtrabackup，同时会详细讲解几种方案的优缺点，以及可能遇到的问题。
所谓Apache出现CPU高占用率就是指Apache在一段时间内持续占用很高的CPU使用率，甚至达到CPU100％，这个时候造成网站无法访问。解决的方法就是仔细观察Apache的日志文件，查阅错误的信息。 下面针对几种错误信息进行分析并给出解决的方法： 1.Apache与WinSockv2相冲突 Apache官方提供的手册中提到，在Windows系统下Apache2.x为了提高性能而使用了MicrosoftWinSockv2API，但是一些常见的防火墙软件会破坏他的正确性，从而使得Apache出现死循环操作造成CPU100％。 可以依次采用下面的方法来解决上问题，如果进行了一步还有问题就继续下一步： 1)在httpd.conf文件中使用Win32DisableAcceptEx禁止Apache使用MicrosoftWinSockv2API： Win32DisableAcceptEx#禁止使用AcceptEx() 2)使用SystemRepairEngineer(SREng)查看WinSocket供应者，如果出现非MS的陌生项则将其删除，并使用软件的“重置WinSocket”按钮进行重置。 3)卸载与Apache相冲突的杀毒软件或防火墙软件。 如果进行上面的三个步骤之后还有问题，那应该看看是不是还有下面的错误。 2.是否加载了第三方模块(so文件) Apache2.x要求所有的第三方模块都必须是线程安全的，但有很多第三方的模块可能存在内存泄露，因此时间一长就可以极大的消耗Apache资源。所以可以采用将所有的第三方模块逐个关闭的方法看看运行一段时间之后Apache对资源的占用是否有所改善。 3.“Terminating1threadsthatfailedtoexit”错误 上面错误中的数字1有可能是其他数字，造成这个错误的原因是Apache在关闭并发线程的时候出现线程溢出，从而造成内存泄露，表现出来的就是Apache所占用的系统资源持续增长。 具体来说，Apache的子进程在结束当前请求之前会首先将所有的并发线程进行关闭，在关闭的时候会等待3分钟，如果3分钟之内没有将所有的线程关闭则会抛出上述的错误提示，然后强制关闭。这样就造成了内存溢出，时间一长会使得Apache所占用资源持续增长直到无法工作。这个时候可以适当将MaxRequestsPerChild的值降低，使得Apache子进程所并发的线程数量减少，从而降低该错误出现的几率。 但是这种方式并不能彻底解决问题，幸好Apache2.0.x的最新版本(2.0.63)解决了之前版本的这个问题，如果3分钟之内有线程没有关闭的话会自动根据时间情况再增加等待结束的时间直到最终将所有的线程结束。日志文件中会出现类似下面的信息： Child1952:Waiting150moresecondsfor2workerthreadstofinish. Child1952:Waiting120moresecondsfor1workerthreadstofinish. Child1952:Allworkerthreadshaveexited. 4.“file.//server//mpm//winnt//child.c,line1078,assertion“(rv>=0)&&(rv 这个错误是Apache的一个bug(#11997)，可以通过Win32DisableAcceptEx禁止Apache使用WinSocketv2来避免此bug，具体设置见前述。 5.PHP5.2.1以上版本的libmysql.dll与MySQL5不兼容 PHP5.2.1以后的新版本(截止目前最新版本为5.2.5)中用于连接MySQL的libmysql.dll组件与MySQL5不兼容，在Apache中运行PHP的时候会造成Apache产生CPU100%的问题。 解决的方法就是从http://www.php.net/releases/下载5.2.1版本，将压缩包中的libmysql.dll文件覆盖现在的文件，然后重启Apache就可以了。 6.病毒或木马程序命名为Apache.exe 有的时候病毒或木马程序会将其名称命名为Apache.exe文件达到一种掩饰的目的，这个时候使用第三方进程分析器查看进程的路径然后将其删除或使用杀毒软件清除就可以了。 7.程序编写不严谨造成死循环等错误 如果上面的问题都不存在Apache依然产生CPU100%的问题的话，通常来说就应该是Web程序自身的问题了，例如死循环等等。这个时候需要在日志中设置HTTP请求的文件及执行的时间，然后查找出执行时间比较长的地址进行分析排查。
参考博客《CentOS系统MySQL双机热备配置》。 参考官方文档https://dev.mysql.com/doc/refman/5.6/en/replication.html。
在上一期《时区信息记录表|全方位认识 mysql 系统库》中，我们详细介绍了mysql系统库中的时区信息记录表，本期我们将为大家带来系列第七篇《复制信息记录表|全方位认识 mysql 系统库》，下面请跟随我们一起开始 mysql 系统库的系统学习之旅吧！
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
