本文来源：原创投稿 *爱可生开源社区出品，原创内容未经授权不得随意使用，转载请联系小编并注明来源。
以交友平台用户中心的user表为例，单表数据规模达到千万级别时，你可能会发现使用用户筛选功能查询用户变得非常非常慢，明明查询命中了索引，但是，部分查询还是很慢，这时候，我们就需要考虑拆分这张user表了。
导读｜遭受内存泄露往往是令开发者头疼的问题，传统分析工具 gdb、Valgrind在解决内存泄露问题上效率较低。本文特别邀请到了腾讯后台开发工程师邢孟棒以 TDSQL实际生产中mysql-proxy内存泄露问题作为分析对象，分享其基于动态追踪技术的通用内存泄露（增长）分析方法。其中将详细介绍内存分配器行为分析、缺页异常事件分析，涵盖应用程序内存分配的常见过程。阅读完本文后，开发者仅需关注少数可能导致内存泄露的代码路径，就能有效提升定位内存泄露（增长）问题的效率。 背景 某个 TDSQL 私有化环境中，
安装 nacos 之前，需要在服务器上安装 zookeeper，这个是必须的，因为nacos 需要依赖 zookeeper；
前阵子处理这样一个案例，某客户的实例 mysqld 进程内存经常持续增加导致最终被 OOM killer。作为 DBA 肯定想知道有哪些原因可能会导致 OOM（内存溢出）。
导读｜遭受内存泄露往往是令开发者头疼的问题，传统分析工具 gdb、Valgrind在解决内存泄露问题上效率较低。本文特别邀请到了 OpenCloudOS 社区 Contributor、腾讯后台开发工程师邢孟棒以 mysql-proxy 内存泄露问题作为分析对象，分享其基于 eBPF 动态追踪技术的通用内存泄露（增长）分析方法。
| 作者 姜宇祥，曾就职于达梦和携程，目前在CDB/CynosDB数据库内核团队担任TXSQL云数据库内核研发，多年深耕数据库领域，为国内早期一批数据库内核研发人员。过去曾在达梦经历了新一代达梦从零开始的整个研发过程，并参与多个版本的迭代与架构调整；还曾在携程率先开启MySQL的定制开发，为线上业务提供支持。另一方面，他也积极参与MySQL开源社区在中国成长过程，通过技术宣讲与文章编写助力MySQL在中国的传播。 ---- 引言 在数字领域，TX王国是一个统御着“成T上P”数据子民的大国，这里的T和P是极
如果 SQL 在执行过程中读到的数据无法直接得到结果，那么就需要额外的内存来保存中间结果，得出最终结果，这个额外的内存就是内部临时表。比如 group by 执行时，就需要构建一个临时表，需要额外的字段保存聚合函数的结果，当然为了防止内存使用过大，一般超出某个限制后就会放到磁盘上。关于哪些操作会产生内部临时表，可以查看官方文档：https://dev.mysql.com/doc/refman/8.0/en/internal-temporary-tables.html，下面主要介绍 MySQL 8.0 内部临时表存放方式的变化。
MySQL是一款开源的关系型数据库管理系统，广泛应用于各种场景中。而在实际使用过程中，如何进行内存管理和数据库缓存的优化则是极其关键的一步。下面将着重探讨MySQL中的内存管理和数据库缓存优化技巧。
爱可生 DBA 团队成员，擅长故障分析、性能优化，个人博客：https://www.jianshu.com/u/a95ec11f67a8，欢迎讨论。
当我们交友平台在线上运行一段时间后，为了给平台用户在搜索好友时，在搜索结果中推荐并置顶他感兴趣的好友，这时候，我们会对用户的行为做数据分析，根据分析结果给他推荐其感兴趣的好友。
前言 大多数语言都是提供自动内存管理机制，比如C#、Java，JavaScript。自动内存管理机制也就是我们经常听到的垃圾回收机制 。好神奇哦，语言会收垃圾，哈哈?，不过这里的垃圾，可不是家里面的厨
今天查看两个月前上线的小项目，发现运行非常慢，而且增删改查失效了（吓我一大跳），急急忙忙的就开始了我的线上问题排查之路。
点击上方蓝色字体，选择“设为星标” 回复”学习资料“获取学习宝典 、 来源：www.juejin.cn/post/6957696820621344775 导读 当我们交友平台在线上运行一段时间后，为了给平台用户在搜索好友时，在搜索结果中推荐并置顶他感兴趣的好友，这时候，我们会对用户的行为做数据分析，根据分析结果给他推荐其感兴趣的好友。 这里，我采用最简单的SQL分析法：对用户过去查看好友的性别和年龄进行统计，按照年龄进行分组得到统计结果。依据该结果，给用户推荐计数最高的某个性别及年龄的好友。 那么，假
performance_schema 是 MySQL 数据库中的一个内置的系统数据库，最早从MySQL5.5版本产生，这个数据库主要用于收集和存储与数据库性能相关的统计信息和指标。
很多企业用户和个人站长上云都使用宝塔面板，宝塔面板搭建云服务器使运维成本也直线下降，可随着网站流量的增长，高并发大流量的网站会出现加载缓慢，卡顿，甚至还会出现“该页面无法显示”的尴尬状况，有大预算的哥们可以选择升级高配置的服务器，预算少的朋友可以参考本篇文章，优化一下自己的网站。
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
作者：操盛春，爱可生技术专家，公众号『一树一溪』作者，专注于研究 MySQL 和 OceanBase 源码。
MySQL会通过使用内存缓存和缓冲来提高数据库的性能。MySQL里面与内存相关参数的默认值是基于一台使用512M内存的虚拟服务器设定的，因此，当用户使用MySQL时需要根据服务器实际内存的大小，对各个参数的值进行调节。在调整参数之前，需要了解一下MySQL究竟是如何使用内存的。
很多新入职的小朋友可能和现在的我一样，对数据库的了解仅仅停留在建库建表增删改查这些操作，日常工作也都是用封装好的代码，别说底层原理了，数据库和系统之间是如何工作都不是很懂。
众所周知，缓存的设置是所有现代计算机系统发挥高性能的重要因素之一。对于MySQL数据库来说，也是得益于MySQL缓存机制，才能够提高MySQL数据库的性能，减少数据的内存占比。
对于DBA来说Linux比较让人头疼的一个地方是，它不会因为MySQL很重要就避免将分配给MySQL的地址空间映射到swap上。对于频繁进行读写操作的系统而言，数据看似在内存而实际上在磁盘是非常糟糕的，响应时间的增长很可能直接拖垮整个系统。这篇blog主要讲讲我们作为DBA，怎样尽量避免MySQL惨遭swap的毒手。 首先我们要了解点基础的东西，比如说为什么会产生swap。假设我们的物理内存是16G，swap是4G。如果MySQL本身已经占用了12G物理内存，而同时其他程序或者系统模块又需要6G内存，这时候操作系统就可能把MySQL所拥有的一部分地址空间映射到swap上去。 cp一个大文件，或用mysqldump导出一个很大的数据库的时候，文件系统往往会向Linux申请大量的内存作为cache，一不小心就会导致L使用swap。
操作系统：CentOS Linux release 7.5.1804 (Core) 64核64G
MySQL的存储过程在运行过程中的内存管理跟table等运行时候是不一样的，它涉及多层内存管理，在开发时候如果不注意内存管理很容易造成内存泄露。接下来我用以下function的例子来说明，procedure的也是类似的，只是少了return result的过程。
很多低内存的服务器比如1G或者更低的服务器，安装宝塔面板后发现经常内存爆满，很多用户误以为是宝塔占用较大的内存导致的问题，其实不然，宝塔本身占用的系统内存并不高的，大约70M左右的内存占用，以linux为例所以我们要如何优化降低服务器的内存消耗呢。
第一选择域名：新域名优化方法。找一个5年老域名做引导。 老域名购买选择4年以上的最好 第二查询域名历史记录《注册局屏蔽的域名不要，红了的域名不要。》《历史收录有棋牌菠菜等的不要》
通常情况下，C++中通过用new方式申请内存空间时，是在系统的堆内存空间中进行分配，底层使用C标准库的malloc()完成内存分配工作。
通常，我们在回答 MySQL 数据库优化的相关问题时，一般会从三个层面来说明，分别是：
1. 背景 在使用MySQL时，如果有大表的存储引擎是InnoDB，并且系统参数innodb_file_per_table设置为1，即每个文件对应一个独立的表空间，当对这些大表进行DROP TABLE时，有时会发现整个数据库系统的性能会有显著下降，包括一些只涉及几行数据的简单SELECT查询和DML语句，而且这些语句和正在删除的大表没有关系。造成这种现象的原因是什么呢？通过什么方式能缓解和避免这个问题呢？ 2. 已知的瓶颈 Percona曾经在MySQL官方5.5.23之前的版本中遇到过这个问题，并且提供
Hadoop 是目前大数据领域最主流的一套技术体系，包含了多种技术，例如 HDFS（分布式文件系统），YARN（分布式资源调度系统），MapReduce（分布式计算系统）等等。
本文介绍了Linux环境下内存管理的一些基本概念和实现细节，包括分段、分页、虚拟内存、物理内存、缺页异常、页面置换算法、内存池、内存回收和压缩等方面的内容。
本文介绍了MySQL DROP TABLE操作可能存在的性能瓶颈，包括InnoDB引擎表、MyISAM引擎表、以及操作系统层面的限制。针对这些瓶颈，本文提出了相应的优化方案，包括增大InnoDB缓冲池、使用MyISAM存储引擎、以及调整操作系统相关参数。通过这些优化方案，可以有效地提升MySQL数据库的性能，减少DROP TABLE操作对数据库性能的影响。
这是 Innodb 引擎最重要的缓存，也是提升查询性能的重要手段。一般是global共享内存中占用最大的部分。在进行 SQL 读和写的操作时，首先并不是对物理数据文件操作，而是先对 buffer_pool 进行操作，然后再通过 checkpoint 等机制写回数据文件。占用的内存启动后就不会自动释放，默认通过LRU的算法镜像缓存淘汰，每次的新数据页，都会插入buffer pool的中间，防止前面的热数据被冲掉，长时间没动静的冷数据，会被淘汰出buffer pool，但是是被其它新数据占用了，所以一般这里不会释放的，除非重启（5.7 开始支持动态调整，默认以128M的chunk单位分配内存块）。innodb_buffer_pool主要包含数据页、索引页、undo 页、insert buffer、自适应哈希索引、锁信息以及数据字典等信息。
作者：cyningsun 链接：https://juejin.im/post/6875110082724659213
云原生数据库 TDSQL-C 使用计算存储分离的架构，计算资源和存储资源解耦，可以提供PB级的存储容量供用户按需使用。而 Serverless 架构是将计算资源做到极致弹性，和购买的实例规格解耦，根据用户数据库实际的负载，自动启停和自动扩缩容，按使用计费。其中计算资源主要是 CCU（CPU+内存），CPU 可以由 cgroup 或者 docker 等技术限制，内存分配给数据库进程，大部分由 Buffer Pool 模块使用，目的是缓存用户数据，Buffer Pool 内存的分配与释放过程涉及用户数据的分布，搬迁，还有内核中全局资源的互斥等等。本文将详细介绍 TDSQL-C Serverless 在内核做的一系列优化，让数据库弹得更稳。
说个案例：一台Apache服务器，由于其MaxClients参数设置过大，并且恰好又碰到访问量激增，结果内存被耗光，从而引发SWAP，进而负载攀升，最终导致宕机。
原文:https://juejin.im/post/6875110082724659213 作者:有疑说
前面说了buffer pool的重要性，每次查询数据并不是I/O从磁盘获取的，而是吧磁盘上的数据刷新到buffer pool里，里面组成有缓存页和控制块，缓存页可以用innoDB_buffer_pool_size设置，控制块的内存是单独存储的。分为free链表和flush 链表，mysql数据库启动的时候，free链表里面存储的是申请的空闲缓存页。如果修改了缓存页，导致和磁盘上的数据不一致的脏数据，所以这时候flush就有 用处了，每次隔一段时间吧flush 链表的数据更新到磁盘上，并不是吧所有buffer pool的数据更新上。
最近发现一些SQL，很正常的查询或者根据主键ID查询，也加入了慢SQL预警，一条 SQL 语句，正常执行的时候特别快，有时候不知道怎么回事，它会变的很慢。为什么？有的同学会说：MySQL负载过大，再此不讨论此种情况。
大家在使用 Java NIO 的过程中，是不是也遇到过堆外内存泄露的问题？是不是也苦恼过如何排查？
作者：付祥，现居珠海，主要负责 Oracle、MySQL、mongoDB 和 Redis 维护工作。
提示：公众号展示代码会自动折行，建议横屏阅读 背景 无论从使用、研发还是运维的角度，内存监控一直是MySQL的重点之一。完善的内存监控手段有很多作用，包括但不限于： 发现内存泄漏，避免MySQL实例内存耗尽 对实例的运行状态进行定量分析 资源管控和优化 但内存监控想要“完善”并不是那么简单的事。 PFS内存监控介绍 在PFS中，一共有五张内存相关的监控表，每张表会从不同维度收集和聚合内存事件。 memory_summary_by_account_by_event_name: 从用户和连接host的角度统
MySQL使用内存上升90%！在运维过程中50%的几率，会碰到这样的问题。算是比较普遍的现象。
最近一套MySQL，show processlist的时候，看到很多会话状态是Opening tables，这是什么意思？
本文将对MySQL数据库连接池进行深入的研究和讨论。首先，我们会介绍数据库连接池的基本概念以及为什么需要使用它。接着，我们将详细解析MySQL数据库连接池的工作原理和运行机制。最后，通过丰富的代码示例，我们将展示如何在实践中实现和优化MySQL数据库连接池。
工程师反馈数据库服务器内存使用率高，并且之前曾触发告警，登录服务器使用top -u mysql查看进程使用内存信息：
说到执行SQL，那就不得不谈一谈MySQL的基础模型，以及`server层`与`存储引擎层`之间的功能。这样才方便我们更加了解。执行一条SQL到底发生了啥
面试官：咱们聊聊mysql的自增id。mysql自增id给我们的自增主键定义带来了很大的方便，但是经常mysql的自增id会有不连续情况，能说说什么场景下mysql的id会产生不连续吗我：我以一张表为例来解释一下，我先创建一张表zh_person，这张表包括4个字段，自增id，姓名name，性别sex和身份证号id_no,id_no上有唯一索引，sql如下 CREATE TABLE `zh_person` ( `id` MEDIUMINT(11) NOT NULL AUTO_INCREMENT, `
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
