国庆节过了5分之四了，想想好像和没过也没有什么两样，平时没有时间做饭倒是在这个节假日弥补了，犹豫到底要不要出去，最后在犹豫中在家呆着，看着别人朋友圈散发着各种，美图秀秀和Vicotory的手势。偶尔反思一下人生的意义，好像也没有什么意义。还是伴随着不写点什么就难受的生理现象，继续写着这一篇。
HTML 我们在页面上放置一个显示当前在线人数的div#total以及一个用于展示访客地区分布的列表#onlinelist，默认我们在列表中放置一张与加载动画图片，后面我们用jQuery控制当鼠标滑向时展示详细列表。
以交友平台用户中心的user表为例，单表数据规模达到千万级别时，你可能会发现使用用户筛选功能查询用户变得非常非常慢，明明查询命中了索引，但是，部分查询还是很慢，这时候，我们就需要考虑拆分这张user表了。
在工作中，我们有时候会遇到这种情况。老系统或其他系统使用的数oracle数据库，现在使用新系统，需要使用mysql数据库。但是之前数据也要迁移过来。那么这种请求下怎么办呢？我们可以使用kettle来进行数据迁移。
对于mysql和Infobright等数据库，information_schema数据库中的表都是只读的，不能进行更新、删除和插入等操作，也不能加触发器，因为它们实际只是一个视图，不是基本表，没有关联的文件。MySQL的information_schema.tables存储了数据表的元数据信息，它详细表述了某个表属于哪个schema，表类型，表引擎，创建时间等信息。这里我们首先看看information_schame中的表tables的各个字段的含义（代码可左滑）：
对于innoDB存储引擎来说，数据是存储在磁盘上，而执行引擎想要操作数据，必须先将磁盘的数据加载到内存中才能操作。当数据从磁盘中取出后，缓存内存中，下次查询同样的数据的时候，直接从内存中读取，这样大大提高了查询性能。
我们聊到了Buffer Pool，很多朋友估计还是不是很了解，本文咱们就来聊聊。
相信很多小伙伴在面试中都被问过「为什么要用缓存？」，大部分人都是回答：「减少数据库的磁盘IO压力」。
文章来自：博客 数据库属于 IO密集型的应用程序，其主要职责就是数据的管理及存储工作。而我们知道，从内存中读取一个数据库的时间是微秒级别，而从一块普通硬盘上读取一个IO是在毫秒级别，二者相差3个数量级。所以，要优化数据库，首先第一步需要优化的就是 IO，尽可能将磁盘IO转化为内存IO。本文先从 MySQL 数据库IO相关参数(缓存参数)的角度来看看可以通过哪些参数进行IO优化： 📷 query_cache_size/query_cache_type (global) Query cache 作用于整个 My
在MySQL中，ORDER BY的实现有如下两种类型： （1）通过有序索引直接取得有序的数据，不用进行任何排序操作即可满足客户端要求 （2）通过MySQL的排序算法将数据进行排序，再将排序后的数据返回给客户端 通过索引得到有序数据是最理想的，但实际情况中常常会遇到第二种情况 如果没有索引可利用时，MySQL又如何实现排序呢？ MySQL目前可以通过两种算法来实现数据的排序操作： （1）取出满足过滤条件、并作为排序条件的字段，及其行指针信息，在Sort Buffer中进行实际的排序操作，然后根据行指针信息到表
摘要：很多 DBA 同学经常会遇到要从一个数据库实时同步到另一个数据库的问题，同构数据还相对容易，遇上异构数据、表多、数据量大等情况就难以同步。我自己亲测了一种方式，可以非常方便地完成 MySQL 数据实时同步到Hazelcast Cloud，跟大家分享一下，希望对你有帮助。
本文围绕一个问题展开： 假如主机内存只有 100G，现在要对一个 200G 的大表做全表扫描，会不会把数据库主机的内存用光了？
即使用正确的类型创建了表并加上了合适的索引，工作也没有结束:还需要维护表和索引来确保它们都正常工作。维护表有三个主要的目的：找到并修复损坏的表，维护准确的索引统计信息,减少碎片。
摘要：很多 DBA 同学经常会遇到要从一个数据库实时同步到另一个数据库的问题，同构数据还相对容易，遇上异构数据、表多、数据量大等情况就难以同步。我自己亲测了一种方式，可以非常方便地完成 MySQL 数据实时同步到 Kafka ，跟大家分享一下，希望对你有帮助。
摘要：很多 DBA 同学经常会遇到要从一个数据库实时同步到另一个数据库的问题，同构数据还相对容易，遇上异构数据、表多、数据量大等情况就难以同步。我自己亲测了一种方式，可以非常方便地完成 MySQL 数据实时同步到ADB MySQL，跟大家分享一下，希望对你有帮助。
大家都知道，对于面试官来说，没有办法能够很直接的能问到面试者对于SQL的理解，所以就会有很多千奇百怪的问题就出现了，比如 SQL 优化，索引创建原则，索引的最左匹配原则，唯一索引，联合索引，甚至就开始询问关于 MySQL 的存储引擎了。
摘要：很多 DBA 同学经常会遇到要从一个数据库实时同步到另一个数据库的问题，同构数据还相对容易，遇上异构数据、表多、数据量大等情况就难以同步。我自己亲测了一种方式，可以非常方便地完成 MySQL 数据实时同步到ClickHouse，跟大家分享一下，希望对你有帮助。
摘要：很多 DBA 同学经常会遇到要从一个数据库实时同步到另一个数据库的问题，同构数据还相对容易，遇上异构数据、表多、数据量大等情况就难以同步。我自己亲测了一种方式，可以非常方便地完成 MySQL 数据实时同步到DM DB 达梦数据库，跟大家分享一下，希望对你有帮助。
摘要：很多 DBA 同学经常会遇到要从一个数据库实时同步到另一个数据库的问题，同构数据还相对容易，遇上异构数据、表多、数据量大等情况就难以同步。我自己亲测了一种方式，可以非常方便地完成 MySQL 数据实时同步到ADB PostgreSQL，跟大家分享一下，希望对你有帮助。
摘要：很多 DBA 同学经常会遇到要从一个数据库实时同步到另一个数据库的问题，同构数据还相对容易，遇上异构数据、表多、数据量大等情况就难以同步。我自己亲测了一种方式，可以非常方便地完成 MySQL 数据实时同步到Greenplum，跟大家分享一下，希望对你有帮助。
数据库属于 IO 密集型的应用程序，其主要职责就是数据的管理及存储工作。而我们知道，从内存中读取一个数据库的时间是微秒级别，而从一块普通硬盘上读取一个IO是在毫秒级别，二者相差3个数量级。所以，要优化数据库，首先第一步需要优化的就是 IO，尽可能将磁盘IO转化为内存IO。本文先从 MySQL 数据库IO相关缓存参数的角度来介绍可以通过哪些参数进行IO优化：
（1）在MySQL 8.0中，caching_sha2_password是默认的验证插件。为了使MySQL5.7能够使用使用caching_sha2_password进行身份验证连接到8.0服务器，MySQL 5.7客户端库和客户端程序从MySQL 5.7.23开始支持caching_sha2_password客户端身份验证插件。这提高了MySQL 5.7与MySQL 8.0和更高版本服务器的兼容性。请参见第6.4.1.5节“缓存SHA-2可插入认证”。
虽然说 MySQL 的数据是存储在磁盘里的，但是也不能每次都从磁盘里面读取数据，这样性能是极差的。
我经常会被问到这样一个问题：我的主机内存只有 100G，现在要对一个 200G 的大表做全表扫描，会不会把数据库主机的内存用光了？
普通索引：(index) 对关键字没有要求，如果一个索引在多个字段提取关键字，称为复合索引
buffer pool 就是一个缓存，将磁盘中的数据缓存到内存中，对数据的操作改为通过内存进行操作，然后刷盘的操作，提升性能。
一个表的设计，个人愚见，首先要看业务，以及你选择的架构，业务量是大还是小，业务是互联网性质的，还是传统性质的，业务是可变化较大的，还是比较固话的，等等，当然可能还有更细分的，从数据库的角度来看，你是准备使用哪种数据库，决定是可以分库分表，还是分区表，或者冷热表，在或者使用特殊的某些小手段，来让你的表更清爽一些。同时不同的数据库也赋予表设计更多的余地，所以我一直在希望开发和DBA能紧密结合，因为开发大部分是不知道各种数据库的门道，和一些奇特的功能，而DBA可能并未有开发人员的对业务理解的深刻，如果二者结合，则设计的表会比单方面设计的表要好的多。也更值得推敲。
摘要：很多 DBA 和开发同学经常会遇到要从一个数据库实时同步到另一个数据库的问题，同构数据还相对容易，遇上异构数据、表多、数据量大等情况就难以同步。最近了解到一款实时数据同步工具 Tapdata Cloud，可以非常方便地完成 MySQL 数据实时同步到Elasticsearch，跟大家分享一下，希望对你有帮助。
这是mysql专栏的第四篇，上一个小节我们了解了如何通过flush list存储所有的脏页数据，这一节我们来继续介绍缓冲池的内部结构LRU链表。
「上述结构图中展示了Buffer Pool作为InnoDB内存结构的四大组件之一，不属于MySQL的Server层，是InnoDB存储引擎层的缓冲池」。因此这个跟MySQL8.0删掉的【查询缓存】功能是不一样的。
索引为什么能提高数据访问性能很多人只知道索引能够提高数据库的性能，但并不是特别了解其原理，其实我们可以用一个生活中的示例来理解。 我们让一位不太懂计算机的朋友去图书馆确认一本叫做《MySQL性能调优与架构设计》的书是否在藏，这样对他说：“请帮我借一本计算机类的数据库书籍，是属于 MySQL 数据库范畴的，叫做《MySQL性能调优与架构设计》”。朋友会根据所属类别，前往存放“计算机”书籍区域的书架，然后再寻找“数据库”类存放位置，再找到一堆讲述“MySQL”的书籍，最后可能发现目标在藏(也可能已经借出
数据库优化: 1.可以在单个SQL语句，整个应用程序，单个数据库服务器或多个联网数据库服务器的级别进行优化 2.数据库性能取决于数据库级别的几个因素，例如表，查询和配置设置 3.在数据库级别进行优化,在硬件级别进行优化,平衡可移植性和性能 4.合适的结构,合适的数据类型;执行频繁更新的应用程序大量表(少列);分析大量数据的应用程序少量表(多列);选择合适的存储引擎和索引; 5.压缩适用于InnoDB表的各种工作负载，以及只读MyISAM表 6.选择合适的锁定策略;InnoDB存储引擎可以处理大多数锁定问题 7.配置的主要内存区域是InnoDB缓冲池和MyISAM密钥缓存。 8.优化select语句,这方面技巧同样适用于其他带where的delete语句等,在where子句的列上设置索引;索引对于引用多个列如join和外键尤其重要
最近面试被问到这样一个问题。这里总结一下。关于更多的MySQL真题，你可以直接访问该链接进行查看。
本文使用的工具版本为：Navicat Premium 15，文中提到的功能在旧版中同样支持，如果需要最新版的软件（Mac/Windows）可私信博主。
mysql是一个高度定制化的数据库系统，提供了很多配置参数，一般都需要根据应用程序的特性和硬件情况对mysql做配置优化，windows配置文件为my.ini，linux为my.cnf
可以通过如下命令查看连接配置信息：SHOW VARIABLES LIKE '%connect%';可以看到最大连接和每个连接占用的内存等相关配置。
对于使用InnoDB作为存储引擎的表来说，不管是用于存储用户数据的索引（包括聚集索引和非聚集索引），还是各种系统数据，都是以页的形式存放在磁盘上的。而CPU与内存的交互远远快于与磁盘的交互，所以InnoDB存储引擎在处理客户端的请求时，如果需要访问某个页的数据，就会把完整的页中的数据全部加载到内存中。也就是说，即使我们只需要访问一个页的一条记录，也需要先把整个页的数据加载到内存中。
前面说了lru链表，为了防止mysql的预读和全表查询刷新pool的频率太高，所以把lru链表分为young区域和old区域，但是频繁的移动lru链表也影响性能，所以当在young后半部1/4区域的时候，才会移动到最前面。初始数据从磁盘刷新到内存中，先是进入old区域，当超过1S之后继续访问，则会移动到young区域。预读分为两种，第一种是当mysql检测到执行语句按顺序查询超过一定值，则会吧下一个区的所有页全部都预先刷新到缓存页里，第二种就是13个页在同一个区，这时候会吧这个区的数据全部刷新到缓存页。
我的主机内存只有100G，现在要全表扫描一个200G大表，会不会把DB主机的内存用光？
之前使用PHP编写最佳化资料表功能，发现一个关于InnoDB DataFree的问题，供大家参考。
现在的MySQL版本已经可以实现自动扩展表空间，其中innodb_file_per_table默认是开启的，表示为每一张新建的表创建表空间，这样可以避免ibdata1过于庞大。
输出a1表查询过程中的操作信息， explain select * from a1;
某银行拟开发一套ATM系统软件对客户的账户和交易信息进行管理。该系统的后台数据库为
1. 概述 相信很多同学看过 MySQL 各种优化的文章，里面 99% 会提到：单表数据量大了，需要进行分片（水平拆分 or 垂直拆分）。分片之后，业务上必然面临的场景：跨分片的数据合并。今天我们就一
本章介绍如何优化MySQL性能并提供示例。优化包括在多个级别上配置、调优和度量性能。根据您的工作角色（开发人员、DBA或两者的组合），您可以在单个SQL语句、整个应用程序、单个数据库服务器或多个联网数据库服务器的级别上进行优化。有时，您可以积极主动地提前计划性能，而有时，您可能会在出现问题后对配置或代码问题进行故障排除。优化CPU和内存使用也可以提高可伸缩性，允许数据库在不降低速度的情况下处理更多负载。
现在MySQL 8和PostgreSQL 10已经发布，现在是重新审视两个主要的开源关系数据库如何相互竞争的好时机。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM
