腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

腾讯数据库技术

专栏作者

105

文章

214587

阅读量

399

订阅数

TDSQL-C OOM 优化

tdsql-c linux jquery 缓存存储

OOM是实例使用内存超过实例规格内存上限导致进程被kill，实例存在秒级的不可用。MySQL的内存管理比较复杂，内存监控需要开启performance schema查询(默认关闭)，会带来额外的内存消耗和性能损失，在不开启performance schema情况下排查内存使用情况又比较困难。本文将基于TDSQL-C（基于MySQL5.7）总结一下在线上经常出现的一些OOM的场景、排查手段及相应的优化方案。 ---- 一、MySQL线上常见OOM问题 1.1 表数量较多导致innodb数据字典内存占用多查

腾讯数据库技术

2023-02-03

1.5K0

原创｜MySQL binlog时间异常分析

linux 数据库 sql

提示：公众号展示代码会自动折行，建议横屏阅读「第一部分引言」在日常运维MySQL的过程中，不知大家是否有留意到，有时会发现binlog中的时间并不是有序的，如果对这种情况感到疑惑，那么本文将能解答你的问题。「第二部分时间来源」每一个event实例都继承自Log_event类，在Log_event的构造函数中会设置event头部的时间： Log_event::Log_event(THD *thd_arg, uint16 flags_arg,

腾讯数据库技术

2022-08-26

1.1K0

原创｜如何在Innodb层维护GTID？

linux html 云数据库 SQL Server sql

提示：公众号展示代码会自动折行，建议横屏阅读「第一部分背景」在之前的公众号文章《GTID实践和分析》中介绍了GTID的基本原理，MySQL主要通过Server引擎的binlog文件和Innodb的mysql.gtid_executed表来持久化GTID集合信息。在提交时会将分配给事务的GTID刷到binlog文件中，在事务成功提交后会将GTID加入内存的executed_gtids集合中，并周期性持久化到mysql.gtid_executed表中。在实例恢复时可以从mysql.gtid_execute

腾讯数据库技术

2022-08-26

5580

原创｜slave crash unsafe常见问题分析·续

sql 数据库云数据库 SQL Server linux

提示：公众号展示代码会自动折行，建议横屏阅读「第一部分背景」在之前的公众号文章《 slave crash unsafe常见问题分析》中提到slave的master_info_repository和relay_log_info_repository参数的某些配置可能导致crash unsafe，同时在该文章的末尾提到设置relay_log_recovery = on可以避免slave crash unsafe，参考文献[1]、参考文献[2]、参考文献[3]。因此本文继续之前的思路，首先着重分析GTID

腾讯数据库技术

2022-02-23

5090

原创｜GTID实践和分析

linux 云数据库 SQL Server 数据库 sql

提示：公众号展示代码会自动折行，建议横屏阅读「第一部分 GTID简介」在MySQL5.6引入了GTID（Global Transaction Identifier）特性，它可以在集群中唯一标识一个事务，在MySQL主从复制时，从节点可以使用GTID来确定复制位点，用于取代使用binlog文件偏移量的传统方式，在发生主备切换时从节点可以自动在新主上找到正确的复制位置，大大简化了复杂复制拓扑下集群的维护，也减少了人为设置复制位点发生误操作的风险，另外，基于GTID的复制可以跳过已经执行过的事务，减少了数据发

腾讯数据库技术

2022-01-25

1.4K0

原创｜线程池详解

linux 负载均衡负载均衡缓存数据库

「第一部分背景」社区版的MySQL的连接处理方法默认是为每个连接创建一个工作线程的one-thread-per-connection（Per_thread）模式。这种模式下，由于系统的资源是有限的，随着连接数的增加，资源的竞争也增加，连接的响应时间也随之增加，如response time图所示。对于数据库整体吞吐而言，则是在资源未耗尽时随着连接数增加，一旦连接数超过了某个耗尽系统资源的临界点，数据库整体吞吐就会随着各连接的资源争抢而下降，如下图所示。如何避免在连接数暴增时，因资源竞争而导致

腾讯数据库技术

2021-10-21

1K0

腾讯云企业级MySQL(CDB)-列压缩特性

文件存储 linux 数据库 sql 云数据库 SQL Server

本文以视频+文字放送，为你带来腾讯云企业级MySQL-列压缩特性【需求背景】当前MySQL有针对行格式级别以及数据库页面级别的压缩，这两种压缩方式在处理一个表，同时有大字段和其它很多小字段，并且针对小字段的读写访问频繁，对大字段的访问不频繁的场景中，它的读写访问都会压缩和解压数据，这造成许多不必要的计算资源浪费。腾讯云企业级MySQL（CDB）运用列压缩功能来压缩访问不频繁的大字段，同时能够减少整行字段的存储空间，进而提高整体读写访问的效率。例如一张员工表，前面三个字段分别表示员工 id、年龄以及

腾讯数据库技术

2021-08-19

8040

MySQL resource group详解

云数据库 SQL Server 数据库 sql api linux

提示：公众号展示代码会自动折行，建议横屏阅读「第一部分资源组简介」 MySQL-8.0中新增了resource group资源组的功能。MySQL资源组的想法来源很简单：每个资源组是一个资源独立的单位，每个资源组能够容纳一个或者多个MySQL线程。拥有设置资源组权限的DBA们能够创建、配置资源组以及指定、切换MySQL线程从属的资源组，从而更加精准地管控MySQL。每个MySQL资源组的属性包括： Name：资源组名 CPU affinity：可以使用的VCPU编号，系统可用的VCPU编号可以通

腾讯数据库技术

2021-08-04

8030

微盟OOM排查之旅

linux 编程算法腾讯云测试服务 sql 数据库

作者：张远，腾讯CDB高级工程师；余成真，微盟DBA负责人首发：「老叶茶馆」微信公众号背景微盟是中小企业云端商业及营销解决方案提供商，客户营销活动天天有，7月17日是某客户的超级营销日，老板要求全力护航，不允许任何故障。而营销活动前几天陆续收到几条腾讯云CDB实例OOM的短信报警。因为用云数据库，处理这个报警对于DBA来说太easy，腾讯DBA团队接管了。腾讯DBA大神们拿出各种经验来揣测原因，但收效甚微，MySQL OOM还在继续报警。为了保证线上稳定性以及营销活动的顺利开展，腾讯

腾讯数据库技术

2020-08-05

1.1K0

Linux调度原理介绍和应用（前篇）

linux 任务调度数据库 sql 编程算法

提示：公众号展示代码会自动折行，建议横屏阅读摘要本文（有码慎入）主要介绍Linux任务调度相关的发展历史和基本原理。多年以来，内核界的黑客们一直着力于寻找既能满足高负载后台任务资源充分利用，又能满足桌面系统良好交互性的调度方法，尽管截至到目前为止仍然没有一个完美的解决方案。本文希望通过介绍调度算法的发展历程，因为任务调度本身不是一个局限于操作系统的话题，包括数据库，程序语言实现等，都会与调度相关。本文在介绍过程中，会引用Linux的代码实现作为说明，同时阐述其中的一些趣闻轶事。调度实体进程任务通常包

腾讯数据库技术

2018-07-26

1.3K0

如何利用红黑树实现排名?

linux 编程算法游戏二叉树

1. 问题 ---- 红黑树是一种自平衡的二叉查找树，它可以在O(logn)时间内执行查找、插入和删除。在c++ STL，linux内核中都有使用。红黑树本身是有序的，现在问题是对于指定的元素，如何能快速查到它在整个元素集的排名，或者根据排名快速查询对应的元素？ 2. 思路 ---- 排名分顺序和逆序，这里只讨论顺序的情况。顺序的话排名就是求比当前元素小的元素的个数，根据红黑树的性质，左子树的节点都比根节点小，右子树的节点都比根节点大，求排名就等价于求节点左子树元素的个数。根据树的递归性质，我们只需要在

腾讯数据库技术

2018-06-05

2K1

没有更多了

社区活动

腾讯技术创作狂欢月

“码”上创作 21 天，分 10000 元奖品池！

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态