腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

腾讯数据库技术

专栏作者

105

文章

215610

阅读量

399

订阅数

MySQL 8.0 Atomic DDL

存储 sql 云数据库 SQL Server 数据库

背景 MySQL 8.0 DDL 是一个复杂的过程，涉及比较多的模块，例如：MDL 锁，表定义缓存，行格式，Row Log，DDL Log，online 属性，表空间物理文件操作等。本文主要通过与5.

腾讯数据库技术

2023-01-30

1.1K0

Innodb Buffer Pool详解

云数据库 SQL Server 文件存储编程算法 jquery vr 视频解决方案

导读数据库为了高效读取和存储物理数据，通常都会采用缓存的方式来弥补磁盘IO与CPU运算速度差。InnoDB 作为一个具有高可靠性和高性能的通用存储引擎也不例外，Buffer Pool就是其用来在内存中缓存数据页面的结构。本文将基于MySQL-8.0.22源码，从buffer pool结构、buffer pool初始化、buffer pool管理、页面读取过程、页面淘汰过程、buffer pool加速等方面介绍buffer pool的实现原理。第一部分、Buffer pool结构 Buffer pool不

腾讯数据库技术

2023-01-30

9020

TDSQL-C 并行查询探索 | DTCC 2022

数据库 https 云数据库 SQL Server 网络安全 sql

按：本文是 DTCC 2022 云原生专场《TDSQL-C 并行查询探索》文字稿整理。在演示稿中有一些资料引用，这里单独抽出来便于参考。 TDSQL-C 产品介绍 https://cloud.ten

腾讯数据库技术

2022-12-20

7720

原创｜MySQL一个非预期锁等待分析

云数据库 SQL Server

提示：公众号展示代码会自动折行，建议横屏阅读背景客户发现一个非预期内的锁等待现象，线上频繁出现锁告警，出现问题的case可以简化成以下SQL： # 表结构和表数据CREATE TABLE `tab1` ( `id` bigint unsigned NOT NULL AUTO_INCREMENT, `value` int NOT NULL, `status` tinyint unsigned NOT NULL DEFAULT '1', PRIMARY KEY

腾讯数据库技术

2022-10-28

6430

原创｜MySQL performance_schema之内存监控

云数据库 SQL Server 数据库 sql

提示：公众号展示代码会自动折行，建议横屏阅读背景无论从使用、研发还是运维的角度，内存监控一直是MySQL的重点之一。完善的内存监控手段有很多作用，包括但不限于：发现内存泄漏，避免MySQL实例内存耗尽对实例的运行状态进行定量分析资源管控和优化但内存监控想要“完善”并不是那么简单的事。 PFS内存监控介绍在PFS中，一共有五张内存相关的监控表，每张表会从不同维度收集和聚合内存事件。 memory_summary_by_account_by_event_name: 从用户和连接host的角度统

腾讯数据库技术

2022-10-08

1.5K0

原创｜如何在Innodb层维护GTID？

linux html 云数据库 SQL Server sql

提示：公众号展示代码会自动折行，建议横屏阅读「第一部分背景」在之前的公众号文章《GTID实践和分析》中介绍了GTID的基本原理，MySQL主要通过Server引擎的binlog文件和Innodb的mysql.gtid_executed表来持久化GTID集合信息。在提交时会将分配给事务的GTID刷到binlog文件中，在事务成功提交后会将GTID加入内存的executed_gtids集合中，并周期性持久化到mysql.gtid_executed表中。在实例恢复时可以从mysql.gtid_execute

腾讯数据库技术

2022-08-26

5630

原创｜X侦探所事件簿｜内存到哪里去了

云数据库 SQL Server 数据库 sql c++

提示：公众号展示代码会自动折行，建议横屏阅读「第一部分前言」我们都知道，程序的运行离不开内存。很多人都有这种直接朴素的想法，内存越大程序的运行速度越快。对于数据库来说，如果数据都能加载到内存中，不需要从磁盘读取，那速度肯定是杠杠的。但是，对于现在的应用来说，几十GB乃至TB级别的数据，都是常见的情况，但内存多是十几GB。所以，内存就是就是珍贵的资源，要精打细算的使用，那么这次我们就探究一下和内存相关的知识。这些知识将从两个方面着手，一是操作系统方面，从该方面我们讲述内存在这个层面是怎么分布的；二是M

腾讯数据库技术

2022-03-30

5230

原创｜slave crash unsafe常见问题分析·续

sql 数据库云数据库 SQL Server linux

提示：公众号展示代码会自动折行，建议横屏阅读「第一部分背景」在之前的公众号文章《 slave crash unsafe常见问题分析》中提到slave的master_info_repository和relay_log_info_repository参数的某些配置可能导致crash unsafe，同时在该文章的末尾提到设置relay_log_recovery = on可以避免slave crash unsafe，参考文献[1]、参考文献[2]、参考文献[3]。因此本文继续之前的思路，首先着重分析GTID

腾讯数据库技术

2022-02-23

5170

原创｜GTID实践和分析

linux 云数据库 SQL Server 数据库 sql

提示：公众号展示代码会自动折行，建议横屏阅读「第一部分 GTID简介」在MySQL5.6引入了GTID（Global Transaction Identifier）特性，它可以在集群中唯一标识一个事务，在MySQL主从复制时，从节点可以使用GTID来确定复制位点，用于取代使用binlog文件偏移量的传统方式，在发生主备切换时从节点可以自动在新主上找到正确的复制位置，大大简化了复杂复制拓扑下集群的维护，也减少了人为设置复制位点发生误操作的风险，另外，基于GTID的复制可以跳过已经执行过的事务，减少了数据发

腾讯数据库技术

2022-01-25

1.4K0

腾讯云原生数据库 TDSQL-C异地容灾核心能力构建

tdsql-c 数据库 sql 云数据库 SQL Server

以下文章来源于鹅厂架构师，作者TDSQL-C 云原生数据库TDSQL-C作为腾讯云架构平台部核心数据库产品之一，致力于为云上ToB用户和公司自研业务提供集高性能、低成本、大存储、低延迟、秒级扩缩容、极速回档、Serverless化七大特性于一体的企业级数据库服务。本文将给大家分享《TDSQL-C （原CynosDB）容灾的实践和探索》，主要内容有以下三个方面： 1 云原生数据库和传统数据库的架构对比 2 MySQL数据库的容灾部署模型 3 TDSQL-C 异地容灾系统的实践云原生数据库和传统数据

腾讯数据库技术

2022-01-04

1.8K0

MySQL Hash Join实现分析

云数据库 SQL Server 数据库 sql 自动驾驶

提示：公众号展示代码会自动折行，建议横屏阅读「前言」连接操作是一种数据库中最基本的操作，连接算法的执行效率直接影响到整个数据库的效率、吞吐和资源。通常商业数据库系统一般有三种主流的连接实现：Nested Loop Join、Hash Join和Sort Merge Join。本文概述目前主流的Hash Join实现方式，以及分析MySQL中Hash Join的实现方式。 MySQL 8.0.18 版本增加了对Hash Join算法的支持，在此之前，连接算法仅支持嵌套循环连接 Nested Loop J

腾讯数据库技术

2021-12-30

2K1

原创｜InnoDB事务锁系统及其实现

云数据库 SQL Server mvc mvcc 数据库 TDSQL MySQL 版

提示：公众号展示代码会自动折行，建议横屏阅读「第一部分前言」 InnoDB引擎支持行级别锁，实现了四种隔离级别，本文梳理了InnoDB事务系统及锁系统的原理和源码实现，并且对其中一些比较特别的feature做一个简单的介绍。因为涉及的模块代码非常庞大，部分实现细节并未深入，如有错漏，欢迎指正。在介绍InnoDB的事务系统和锁系统之前，有必要对一些基本概念做一个简单的回顾。我们都知道事务的四大属性ACID，这些属性的保证与数据库中的几大模块紧密的耦合在一起：为了保证原子性Atomicity，数据

腾讯数据库技术

2021-11-17

9920

原创｜MySQL WriteSet并行复制分析

数据分析数据库 sql 云数据库 SQL Server

提示：公众号展示代码会自动折行，建议横屏阅读「第一部分背景」在mysql支持基于LOGICAL CLOCK的复制后，主从延迟得到了很大的改善，但是LOGICAL CLOCK一定程度上会受到master的并发度的影响。当master的并发度较低，每次组提交的事务数较少的时候，binlog在slave上的回放的并发度也会因此而降低，即使这些事务之间并没有任何冲突。示例： Trx1 -----L----C---------------------------------->Trx2 ----

腾讯数据库技术

2021-09-15

1.6K0

视频｜腾讯云企业级MySQL(CDB)-动态线程池功能

数据库 sql 云数据库 SQL Server 迁移

本文以视频+文字放送，为你带来腾讯云企业级MySQL-动态线程池功能【背景】 MySQL两种常用工作模式 MySQL比较常用的工作模式有两种，one-thread-per-connection 和 threadpool 模式。 one-thread-per-connection 是MySQL自带的工作模式，采用每个用户连接对应一个 handle_connection 线程的方式处理用户请求。Threadpool 最早由 percona 支持，CDB对其进行了改进。Thread_pool 采用相对固定数量

腾讯数据库技术

2021-09-09

6050

2021云计算白皮书发布，腾讯云原生数据库TDSQL-C助力共建云上技术生态

云数据库 SQL Server 云计算云原生数据库 TDSQL-C tdsql-c 运维

文章出处：鹅厂架构师中国信通院：云原生虹吸效应初现 2021年7月，中国信息通信研究院发布了《云计算白皮书》，报告表示随着云计算的持续成熟，云原生虹吸效应初现，技术实践持续落地，行业应用加速，云原生技术生态完备，市场活跃，进入黄金发展期。 TDSQL-C“生于云上，长于云上” 在云计算基础技术设施数据库领域，腾讯数据库产品团队带来的云原生数据库TDSQL-C（原CynosDB）,融合传统数据库和云计算技术优势，100%兼容MySQL和PostgreSQL，专为云而生，助力企业在云计算时代下的数字化转

腾讯数据库技术

2021-08-24

7460

腾讯云企业级MySQL(CDB)-列压缩特性

文件存储 linux 数据库 sql 云数据库 SQL Server

本文以视频+文字放送，为你带来腾讯云企业级MySQL-列压缩特性【需求背景】当前MySQL有针对行格式级别以及数据库页面级别的压缩，这两种压缩方式在处理一个表，同时有大字段和其它很多小字段，并且针对小字段的读写访问频繁，对大字段的访问不频繁的场景中，它的读写访问都会压缩和解压数据，这造成许多不必要的计算资源浪费。腾讯云企业级MySQL（CDB）运用列压缩功能来压缩访问不频繁的大字段，同时能够减少整行字段的存储空间，进而提高整体读写访问的效率。例如一张员工表，前面三个字段分别表示员工 id、年龄以及

腾讯数据库技术

2021-08-19

8090

MySQL resource group详解

云数据库 SQL Server 数据库 sql api linux

提示：公众号展示代码会自动折行，建议横屏阅读「第一部分资源组简介」 MySQL-8.0中新增了resource group资源组的功能。MySQL资源组的想法来源很简单：每个资源组是一个资源独立的单位，每个资源组能够容纳一个或者多个MySQL线程。拥有设置资源组权限的DBA们能够创建、配置资源组以及指定、切换MySQL线程从属的资源组，从而更加精准地管控MySQL。每个MySQL资源组的属性包括： Name：资源组名 CPU affinity：可以使用的VCPU编号，系统可用的VCPU编号可以通

腾讯数据库技术

2021-08-04

8100

腾讯云企业级MySQL(CDB)-Returning语法使用

数据库 sql 云数据库 SQL Server

本文以视频+文字放送，为你带来腾讯云企业级MySQL-Returning语法使用【需求背景】在一些数据库场景中，用户会在使用insert语句之后希望返回刚才所插入的数据行。一种实现方式是，将insert语句和select放到一个事务中执行。腾讯云企业级MySQL（CDB）支持一种更简单的实现方式，就是使用returning语法，在insert语句后面，增加returning关键字，从而直接返回刚才所插入的数据行。【操作演示】可在哔哩哔哩【腾讯架构师】频道观看视频演示。下面以图文形式给大家简单展

腾讯数据库技术

2021-07-20

1.1K0

深入浅出查询优化器

云数据库 SQL Server 编程算法 sql 数据库管理数据库

提示：公众号展示代码会自动折行，建议横屏阅读「第一部分查询优化器框架」关系型数据库是一个通用系统软件，SQL作为一种结构化查询语言，用户不需要关注怎么做，只需要描述做什么，然后交由SQL引擎来处理。因为关系代数提供的等价性，同一个查询可以用不同的SQL语句描述。为防止用户所写的"不好的"SQL执行慢，这就需要查询优化器快速而准确地选择出一个效率较高的执行计划。一般的查询优化器基于代价计算模型，包含SQL形态的变换，确定访问路径和多表连接顺序等几个重要的步骤。这些步骤被统一在一个优化器框架之内，相互

腾讯数据库技术

2021-06-02

1.7K0

TXRocks存储引擎简介

云数据库 SQL Server 数据库 sql 腾讯云测试服务缓存

「第一部分简介」 1. TXRocks简介 RocksDB是一个非常流行的高性能持久化KV存储，最初是Facebook的数据库工程师团队基于Google LevelDB开发。经过大量的适配工作，Facebook的数据库工程师将RocksDB改造为MySQL的一个存储引擎MyRocks。 TXRocks是TXSQL团队基于RocksDB的事务型存储引擎，得益于RocksDB LSM Tree存储结构，既减少了InnoDB页面半满和碎片浪费，又可以使用紧凑格式存储，因此TXRocks在保持与InnoDB接近

腾讯数据库技术

2021-01-26

1.2K0

点击加载更多

社区活动

RAG七天入门训练营

鹅厂大牛手把手带你上手实战，赢鹅厂证书、公仔好礼！

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态