在 Spring Boot 项目中，数据库连接池已经成为标配，然而，我曾经遇到过不少连接池异常导致业务错误的事故。很多经验丰富的工程师也可能不小心在这方面出现问题。
MySQL架构总共三层，在上图中以虚线作为划分。 首先，最上层的服务并不是MySQL独有的，大多数给予网络的客户端/服务器的工具或者服务都有类似的架构。比如：连接处理、授权认证、安全等。 第二层的架构包括大多数的MySQL的核心服务。包括：查询解析、分析、优化、缓存以及所有的内置函数（例如：日期、时间、数学和加密函数）。同时，所有的跨存储引擎的功能都在这一层实现：存储过程、触发器、视图等。
存储引擎API包含了十几个底层函数，如执行 “ 开始一个事务 ” ，或取出有特定主键的行，但存储引擎 一般不会去解析SQL， （InnoDB会解析外键定义，因为其本身没有实现该功能），不同存储引擎之间也不会相互通信， 而只是简单的响应上层的服务器请求。
在上一篇中我们介绍说客户端建立一次连接耗时太长(建立连接，设置字符集，autocommit等)，如果在每个sql操作都需要经历建立连接，关闭连接。不仅应用程序响应慢，而且会产生很多临时对象，应用服务器GC压力大。另外数据库server端对连接也有限制，比如MySQL默认151个连接(实际环境中一般会调大这个值，尤其是多个服务时)
负责监听对 MySQL Server 的各种请求，接收连接请求，转发所有连接请求到线程管理模块。每一个连接上 MySQL Server 的客户端请求都会被分配（或创建）一个连接线程为其单独服务。而连接线程的主要工作就是负责 MySQL Server 与客户端的通信， 接受客户端的命令请求，传递 Server 端的结果信息等。线程管理模块则负责管理维护这些连接线程。包括线程的创建，线程的 cache 等
[28]Tomcat是Apache软件基金会（Apache Software Foundation）的Jakarta 项目中的一个核心项目，由Apache、Sun 和其他一些公司及个人共同开发而成。由于有了Sun 的参与和支持，最新的Servlet和JSP 规范总是能在Tomcat 中得到体现，Tomcat 5支持最新的Servlet 2.4 和JSP 2.0 规范。因为Tomcat 技术先进、性能稳定，而且免费，因而深受Java 爱好者的喜爱并得到了部分软件开发商的认可，成为目前比较流行的Web 应用服务器。
一.抽取CSV文件csv.extract.csv中的数据保存至数据库extract中的数据表csv中。
(1)、 如果设置了maxWait或者构造函数参数传入的为true，则创建的ReentrantLock为公平锁，否者为非公平锁 (2)、 如果设置了initialSize>=1，则会启动是创建initialSize个数数据库物理连接到线程池。 (3)、 如果没设置createScheduler则创建并启动数据库连接创建线程，如果没设置destroyScheduler则创建并启动数据库连接回收线程，如果timeBetweenLogStatsMillis>0则创建logstat线程。
在开发NestJS的时候，就很好奇，当某个接口有并发请求的时候，表现是怎样的，接下来做下验证
今天是《MySQL核心知识》专栏的第17章，今天为大家系统的讲讲MySQL中的性能优化，希望通过本章节的学习，小伙伴们能够举一反三，彻底掌握MySQL中性能优化相关的知识。好了，开始今天的正题吧。
ON代表打开，OFF代表关闭 1代表打开，0代表关闭 TRUE代表打开，FALSE代表关闭
这是 Innodb 引擎最重要的缓存，也是提升查询性能的重要手段。一般是global共享内存中占用最大的部分。在进行 SQL 读和写的操作时，首先并不是对物理数据文件操作，而是先对 buffer_pool 进行操作，然后再通过 checkpoint 等机制写回数据文件。占用的内存启动后就不会自动释放，默认通过LRU的算法镜像缓存淘汰，每次的新数据页，都会插入buffer pool的中间，防止前面的热数据被冲掉，长时间没动静的冷数据，会被淘汰出buffer pool，但是是被其它新数据占用了，所以一般这里不会释放的，除非重启（5.7 开始支持动态调整，默认以128M的chunk单位分配内存块）。innodb_buffer_pool主要包含数据页、索引页、undo 页、insert buffer、自适应哈希索引、锁信息以及数据字典等信息。
为了保证多个线程对共享可变变量的安全访问，java为我们提供了一种线程封闭技术的实现即ThreadLocal。存放在ThreadLocal类型的对象，使得每个线程都有其独立的、自己的本地值，可以看成专属于线程的变量，不受其他线程干扰。ThreadLocal类通常被称之为“线程本地变量”类或“线程局部变量”类。
存储引擎架构分为三层，自上而下，分为第一层：连接层；第二层：服务层；第三层：引擎层。
Mysql性能优化 Mysql的性能参数可以分为以下几个大类，这里仅整理一些常用的参数配置
MySQL为了尽可能提高“客户端请求创建连接”这个过程的性能，实现了一个Thread Cache池，将空闲的连接线程存放其中，而不是完成请求后就销毁。这样，当有新的连接请求时，MySQL首先会检查Thread Cache池中是否存在空闲连接线程，如果存在则取出来直接使用，如果没有空闲连接线程，才创建新的连接线程 相关参数 thread_cache_size：Thread Cache池中可以存放的连接线程数 当系统启动时，不会马上就创建这么多的连接线程存放在ThreadCache池中，而是随着连接线程的创建及
以交友平台用户中心的user表为例，单表数据规模达到千万级别时，你可能会发现使用用户筛选功能查询用户变得非常非常慢，明明查询命中了索引，但是，部分查询还是很慢，这时候，我们就需要考虑拆分这张user表了。
一，常规数据库连接 常规数据库连接一般由以下六个步骤构成： 装载数据库驱动程序； 建立数据库连接； 创建数据库操作对象 访问数据库，执行sql语句； 处理返回结果集 断开数据库连接。 public
1.MySQL整体逻辑架构 我们先下图看看MySQL整体逻辑架构(MySQL’s Logical Architecture) 图1 第一层，即最上一层
数据库永远是应用最关键的一环，同时越到高并发阶段，数据库往往成为瓶颈，如果数据库表和索引不在一开始就进行良好的设计，则后期数据库横向扩展，分库分表都会遇到困难。
Springboot 2.0将 HikariCP 作为默认数据库连接池这一事件之后，HikariCP 作为一个后起之秀出现在大众的视野中。HikariCP 是在日本的程序员开源的，hikari日语意思为“光”，HikariCP 也以速度快的特点受到越来越多人的青睐。
---------------------我是一条分割线---------------------
当使用MyBatis框架时，开发人员不必再编写繁琐的JDBC代码，只需要定义好每个功能对应的抽象方法与需要执行的SQL语句即可！
MySQL会通过使用内存缓存和缓冲来提高数据库的性能。MySQL里面与内存相关参数的默认值是基于一台使用512M内存的虚拟服务器设定的，因此，当用户使用MySQL时需要根据服务器实际内存的大小，对各个参数的值进行调节。在调整参数之前，需要了解一下MySQL究竟是如何使用内存的。
说到执行SQL，那就不得不谈一谈MySQL的基础模型，以及`server层`与`存储引擎层`之间的功能。这样才方便我们更加了解。执行一条SQL到底发生了啥
在数据库中，除传统的计算资源(CPU、RAM、IO)的争用以外，数据也是一种供许多用户共享的资源。如何保证数据并发访问的一致性、有效性是所有数据库必须解决的一个问题，锁冲突也是影响数据库并发访问性能的一个重要因素。从这个角度来说，锁对教据库而言显得尤其重要，也更加复杂。
游戏服务器有时需要分多个进程来处理各种负载。多个进程之间的连接处理就相对复杂了。 1、服务器进程类型 （1）登陆服务器 创建账号，检验角色账号，选择和获取并返回网关信息。 （2）网关服务器 创建角色，转发消息。会有网关角色，和相关的屏信息，用于广播。 （3）场景服务器 处理场景（分线或不分线的）、副本的游戏逻辑。 （4）社会关系服务器 处理社交相关的全区的逻辑。 （5）数据库服务 存取数据。 （6）中心服务器 处理内部服务器之间的消息转发，和某些转发流程控制。 （7）其他服务器 还有些日志服务器、连接php
Kettle 是 PDI 以前的名称，PDI 的全称是Pentaho Data Integeration，Kettle 本意是水壶的意思，表达了数据流的含义。Kettle是一款国外开源的ETL工具，纯java编写，可以在Window、Linux、Unix上运行，绿色无需安装，数据抽取高效稳定。Kettle这个ETL工具集，它允许你管理来自不同数据库的数据，通过提供一个图形化的用户环境来描述你想做什么，而不是你想怎么做。Kettle中有两种脚本文件，transformation和job，transformation完成针对数据的基础转换，job则完成整个工作流的控制。作为Pentaho的一个重要组成部分，现在在国内项目应用上逐渐增多。
ETL (Extract-Transform-Load 的缩写，即数据抽取、转换、装载的过程)，对于企业或行业应用来说，我们经常会遇到各种数据的处理，转换，迁移，所以了解并掌握一种ETL工具的使用，必不可少。
通过Kettle工具抽取CSV文件csv_extract.csv中的数据并保存至数据库extract的数据表csv中。
MySQL 是一个开放源代码的关系数据库管理系统。原开发者为瑞典的 MySQL AB 公司，最早是在 2001 年 MySQL3.23 进入到管理员的视野并在之后获得广泛的应用。 2008 年 MySQL 公司被 Sun 公司收购并发布了首个收购之后的版本 MySQL5.1 ，该版本引入分区、基于行复制以及plugin API 。移除了原有的 BerkeyDB 引擎，同时， Oracle 收购 InnoDB Oy 发布了 InnoDB plugin，这后来发展成为著名的 InnoDB 引擎。 2010 年 Oracle 收购 Sun 公司，这也使得 MySQL 归入 Oracle 门下，之后 Oracle 发布了收购以后的首个版本 5.5 ，该版本主要改善集中在性能、扩展性、复制、分区以及对 windows 的支持。目前版本已发展到 5.7。
Kettle是一款流行的ETL（Extract-Transform-Load，即数据抽取、转换、装载）工具，并可用来操作Hadoop上的数据。Kettle是用Java语言开发的。它最初的作者Matt Casters原是一名C语言程序员，在着手开发Kettle时还是一名Java小白，但是他仅用了一年时间就开发出了Kettle的第一个版本。虽然有很多不足，但这版毕竟是可用的。使用自己并不熟悉的语言，仅凭一己之力在很短的时间里就开发出了复杂的ETL系统工具，作者的开发能力和实践精神令人十分佩服。后来Pentaho公司获得了Kettle源代码的版权，Kettle也随之更名为Pentaho Data Integration，简称PDI。
Percona XtraDB集群创建一组线程来为其操作提供服务，这些线程与现有的MySQL线程无关。有三个主要线程组：
MySQLD Exporter 插件基于标准的 MySQLD Exporter 实现。Rainbond 自带的 Prometheus 监控系统 rbd-monitor 会收集 Exporter 中的数据，并通过监控面板展示出来。用户可以自定义展示哪些关键性能数据的指标，这是监控 Mysql 数据库服务的不二之选。
摘要：针对购物旺季网站流量会对数据库造成的压力，作者给出了MySQL性能调优的一些技巧，这些技巧极具参考价值，通过这些调优，可以有效避免因为流量过大造成服务器宕机，从而给企业造成经济损失。以下是译文： 万圣节已经过去很久了，该是把注意力集中在即将到来的假日季节的时候了。首先是感恩节，接着就是黑色星期五和网络星期一，最终在圣诞节/节礼周（从12月26日的节礼日开始，到12月31日的除夕结束为期六天或更长时间。这个词是由零售业在2000年代中期左右发明的，试图延长他们的节礼日销售）达到购物高潮。对于企业主来说，
在网络层的背后，每一个业务都需要数据的支撑，数据库的优化在整个系统中就显得至关重要了。 虽然 NoSQL 在并发性能上要优于传统的 DBA，但由于 MySQL 在扩展性等方面的优势，MySQL 依然作为企业级数据存储的首选。
* 需开启所有的memory类型的instruments：update setup_instruments set enabled='yes' where name like '%memory/%';
1、备份 mysqldump -u x -p x dbname1 > dbname1.date.sql
笔者很热衷于解决Bug,同时比较擅长(网络/协议)部分，所以经常被唤去解决一些网络IO方面的Bug。现在就挑一个案例出来，写出分析思路，以飨读者，希望读者在以后的工作中能够少踩点坑。
Linux 有个非常有用的 top 命令，可以查看操作系统的性能状态，mytop 命令类似 top 命令，界面结构也类似，只是 mytop 显示的是 mysql 的状态信息，例如我们非常关心的 QPS
逻辑看似很简单，当初我也是这样认为的，于是预估5天完成，最后前前后后开发、联调、改bug直到上线差不多花了10天（当然这10天并不是只做这一件事情）。
所有企业都面临的一个需求就是需要运维开发人员连接线上生产库进行数据查询或解决线上问题，但又担心开发人员查询线上敏感数据甚至拖库。一般做法都是：
Druid有且只有一个线程来创建连接，为了防止不必要的线程时间片的消耗，其采用了await()/notify()的方式，当其创建了足够的多的连接之后就处于调用await()，使得线程处于blocked状态。当其接收到其它线程的notify()信号之后，才开始重新创建新的连接。Java的线程机制如下图所示:
作者个人研发的在高并发场景下，提供的简单、稳定、可扩展的延迟消息队列框架，具有精准的定时任务和延迟队列处理功能。自开源半年多以来，已成功为十几家中小型企业提供了精准定时调度方案，经受住了生产环境的考验。为使更多童鞋受益，现给出开源框架地址：
查看连接线程相关的系统变量的设置值 show variables like 'thread%';
启动 初始化模块读取系统参数和命令行参数，初始化整个系统，例如分配buffer、初始化全局变量，同时，启动各存储引擎 启动完成后，交给连接管理模块接手，连接管理模块启动端口监听程序，准备好接收客户端请
当你希望MySQL能够以更高的性能运行查询时，最好的办法是弄清楚MySQL是如何优化和执行查询。《高性能MySQL》
索引，一种强大的存在；不管是什么行业，数据都是根基，终将落盘固化，提供各方检索查询，之前整理了一篇《深入浅出spring事务》，你可以推脱不使用事务，但索引是不可或缺的必备知识点
领取专属 10元无门槛券
手把手带您无忧上云
