腾讯数据库技术-腾讯云开发者社区

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

腾讯数据库技术

专栏成员

105

文章

228628

阅读量

399

订阅数

深度解析auto-increment自增列"Duliplicate key"问题

数据库 auto increment key 内核

提示：公众号展示代码会自动折行，建议横屏阅读问题描述近期，线上有个重要Mysql客户的表在从5.6升级到5.7后master上插入过程中出现"Duplicate key"的错误，而且是在主备及RO实例上都出现。以其中一个表为例，迁移前通过“show create table” 命令查看的auto increment id为1758609，迁移后变成了1758598,实际对迁移生成的新表的自增列用max求最大值为1758609。用户采用的是Innodb引擎，而且据运维同学介绍，之前碰到过类似问题，重启即

腾讯数据库技术

2023-04-25

1K0

MySQL 8.0 Atomic DDL

存储 sql 云数据库 SQL Server 数据库

背景 MySQL 8.0 DDL 是一个复杂的过程，涉及比较多的模块，例如：MDL 锁，表定义缓存，行格式，Row Log，DDL Log，online 属性，表空间物理文件操作等。本文主要通过与5.

腾讯数据库技术

2023-01-30

1.2K0

TDSQL-C 并行查询探索 | DTCC 2022

数据库 https 云数据库 SQL Server 网络安全 sql

按：本文是 DTCC 2022 云原生专场《TDSQL-C 并行查询探索》文字稿整理。在演示稿中有一些资料引用，这里单独抽出来便于参考。 TDSQL-C 产品介绍 https://cloud.ten

腾讯数据库技术

2022-12-20

8180

原创｜MySQL performance_schema之内存监控

云数据库 SQL Server 数据库 sql

提示：公众号展示代码会自动折行，建议横屏阅读背景无论从使用、研发还是运维的角度，内存监控一直是MySQL的重点之一。完善的内存监控手段有很多作用，包括但不限于：发现内存泄漏，避免MySQL实例内存耗尽对实例的运行状态进行定量分析资源管控和优化但内存监控想要“完善”并不是那么简单的事。 PFS内存监控介绍在PFS中，一共有五张内存相关的监控表，每张表会从不同维度收集和聚合内存事件。 memory_summary_by_account_by_event_name: 从用户和连接host的角度统

腾讯数据库技术

2022-10-08

1.8K0

原创｜MySQL binlog时间异常分析

linux 数据库 sql

提示：公众号展示代码会自动折行，建议横屏阅读「第一部分引言」在日常运维MySQL的过程中，不知大家是否有留意到，有时会发现binlog中的时间并不是有序的，如果对这种情况感到疑惑，那么本文将能解答你的问题。「第二部分时间来源」每一个event实例都继承自Log_event类，在Log_event的构造函数中会设置event头部的时间： Log_event::Log_event(THD *thd_arg, uint16 flags_arg,

腾讯数据库技术

2022-08-26

1.3K0

原创｜这个死锁你会解吗？

node.js 数据库 sql

提示：公众号展示代码会自动折行，建议横屏阅读「第一部分背景」最近我们发现在Read Committed隔离级别下出现了S类型的Gap锁参与的死锁告警。本身RC隔离级别上出现Gap锁就很诡异了，更诡异的是两条看起来完全不相干的SQL发生了死锁。让我们一起来分析一下吧。 1.1 事务逻辑简化来看是一个文件移动功能，目的是将文件从source目录移动到dest目录，逻辑如下： 1）查询 source 的父目录（select lock in share mode） 2）查询 dest 的父目录（selec

腾讯数据库技术

2022-06-08

7780

原创｜X侦探所事件簿｜内存到哪里去了

云数据库 SQL Server 数据库 sql c++

提示：公众号展示代码会自动折行，建议横屏阅读「第一部分前言」我们都知道，程序的运行离不开内存。很多人都有这种直接朴素的想法，内存越大程序的运行速度越快。对于数据库来说，如果数据都能加载到内存中，不需要从磁盘读取，那速度肯定是杠杠的。但是，对于现在的应用来说，几十GB乃至TB级别的数据，都是常见的情况，但内存多是十几GB。所以，内存就是就是珍贵的资源，要精打细算的使用，那么这次我们就探究一下和内存相关的知识。这些知识将从两个方面着手，一是操作系统方面，从该方面我们讲述内存在这个层面是怎么分布的；二是M

腾讯数据库技术

2022-03-30

5610

原创｜slave crash unsafe常见问题分析·续

sql 数据库云数据库 SQL Server linux

提示：公众号展示代码会自动折行，建议横屏阅读「第一部分背景」在之前的公众号文章《 slave crash unsafe常见问题分析》中提到slave的master_info_repository和relay_log_info_repository参数的某些配置可能导致crash unsafe，同时在该文章的末尾提到设置relay_log_recovery = on可以避免slave crash unsafe，参考文献[1]、参考文献[2]、参考文献[3]。因此本文继续之前的思路，首先着重分析GTID

腾讯数据库技术

2022-02-23

5840

原创｜GTID实践和分析

linux 云数据库 SQL Server 数据库 sql

提示：公众号展示代码会自动折行，建议横屏阅读「第一部分 GTID简介」在MySQL5.6引入了GTID（Global Transaction Identifier）特性，它可以在集群中唯一标识一个事务，在MySQL主从复制时，从节点可以使用GTID来确定复制位点，用于取代使用binlog文件偏移量的传统方式，在发生主备切换时从节点可以自动在新主上找到正确的复制位置，大大简化了复杂复制拓扑下集群的维护，也减少了人为设置复制位点发生误操作的风险，另外，基于GTID的复制可以跳过已经执行过的事务，减少了数据发

腾讯数据库技术

2022-01-25

1.8K0

腾讯云原生数据库 TDSQL-C异地容灾核心能力构建

tdsql-c 数据库 sql 云数据库 SQL Server

以下文章来源于鹅厂架构师，作者TDSQL-C 云原生数据库TDSQL-C作为腾讯云架构平台部核心数据库产品之一，致力于为云上ToB用户和公司自研业务提供集高性能、低成本、大存储、低延迟、秒级扩缩容、极速回档、Serverless化七大特性于一体的企业级数据库服务。本文将给大家分享《TDSQL-C （原CynosDB）容灾的实践和探索》，主要内容有以下三个方面： 1 云原生数据库和传统数据库的架构对比 2 MySQL数据库的容灾部署模型 3 TDSQL-C 异地容灾系统的实践云原生数据库和传统数据

腾讯数据库技术

2022-01-04

1.8K0

MySQL Hash Join实现分析

云数据库 SQL Server 数据库 sql 自动驾驶

提示：公众号展示代码会自动折行，建议横屏阅读「前言」连接操作是一种数据库中最基本的操作，连接算法的执行效率直接影响到整个数据库的效率、吞吐和资源。通常商业数据库系统一般有三种主流的连接实现：Nested Loop Join、Hash Join和Sort Merge Join。本文概述目前主流的Hash Join实现方式，以及分析MySQL中Hash Join的实现方式。 MySQL 8.0.18 版本增加了对Hash Join算法的支持，在此之前，连接算法仅支持嵌套循环连接 Nested Loop J

腾讯数据库技术

2021-12-30

2.2K1

原创｜InnoDB事务锁系统及其实现

云数据库 SQL Server mvc mvcc 数据库 TDSQL MySQL 版

提示：公众号展示代码会自动折行，建议横屏阅读「第一部分前言」 InnoDB引擎支持行级别锁，实现了四种隔离级别，本文梳理了InnoDB事务系统及锁系统的原理和源码实现，并且对其中一些比较特别的feature做一个简单的介绍。因为涉及的模块代码非常庞大，部分实现细节并未深入，如有错漏，欢迎指正。在介绍InnoDB的事务系统和锁系统之前，有必要对一些基本概念做一个简单的回顾。我们都知道事务的四大属性ACID，这些属性的保证与数据库中的几大模块紧密的耦合在一起：为了保证原子性Atomicity，数据

腾讯数据库技术

2021-11-17

1.1K0

张青林：云原生数据库TDSQL-C在关键技术的多维突破

tdsql-c 数据库 sql 存储

// 2021年11月4日，云原生开源生态专场，由腾讯云数据技术总监张青林分别从海量存储、弹性缩扩容、秒级快速备份与回档和支持serverless4个维度分享腾讯云原生数据库TDSQL-C的显著特性，以及在不同业务应用场景中的内核技术优化实践。（以下是通过张青林现场演讲全文整理）传统数据库架构瓶颈在自研云原生数据库TDSQL—C之前，我们也做多年其他的云数据库产品，越到后面越发现传统数据架构存在着几方面问题：一、数据本地存储，随着业务的增长，单机存储量可能会大于单机磁盘容量限制，需要对业务进行迁

腾讯数据库技术

2021-11-15

1.1K0

程彬：云原生时代的腾讯数据库技术实践

数据库 tdsql-c sql 存储云上实践

// 11月3/4日，以“数实融合，绽放新机”为主题，聚焦产业趋势与技术前沿，打造产业互联网顶级盛会的2021腾讯数字生态大会在武汉举办，腾讯云数据库技术负责人程彬进行了《云原生时代的数据库技术实践》的主题演讲，分别从云原生时代数据库技术何去何从，新时代下如何构建TDSQL-C数据库产品和TDSQL-C在云上实践经验等三个方面进行分享。（以下是通过程彬现场演讲全文整理）时来云转：云时代的数据库应云而生、依云而建当云计算这个词还热度未减时，云原生的时代却已悄然而至，也因此用户使用云的方式发生了极

腾讯数据库技术

2021-11-12

1.1K0

原创｜线程池详解

linux 负载均衡负载均衡缓存数据库

「第一部分背景」社区版的MySQL的连接处理方法默认是为每个连接创建一个工作线程的one-thread-per-connection（Per_thread）模式。这种模式下，由于系统的资源是有限的，随着连接数的增加，资源的竞争也增加，连接的响应时间也随之增加，如response time图所示。对于数据库整体吞吐而言，则是在资源未耗尽时随着连接数增加，一旦连接数超过了某个耗尽系统资源的临界点，数据库整体吞吐就会随着各连接的资源争抢而下降，如下图所示。如何避免在连接数暴增时，因资源竞争而导致

腾讯数据库技术

2021-10-21

1.2K0

巧用 maxTimeMS 服务端超时，避免承载亿级用户的腾讯云数据库MongoDB服务雪崩

云数据库 MongoDB mongodb https 网络安全数据库

腾讯云数据库MongoDB作为一款基于开源社区MongoDB版本的文档数据库产品，其承载着公司内外包括微信、看点、QQ音乐在内的亿级用户重量级APP产品。在某些场景的使用过程中，用户在客户端请求超时后会不断重试，可能导致服务端大量请求积压，出现恶性循环甚至导致服务雪崩。一般遇到这种情况，后台会自动检测并做服务降级，主动拒绝一部分用户请求，或者重启后端服务等举措来应对。但是这些措施对业务有损，或者不可自行恢复。本文围绕 MongoDB 原生 maxTimeMS 特性和腾讯云MongoDB的优化，并结合 4

腾讯数据库技术

2021-10-14

7030

原创｜MySQL WriteSet并行复制分析

数据分析数据库 sql 云数据库 SQL Server

提示：公众号展示代码会自动折行，建议横屏阅读「第一部分背景」在mysql支持基于LOGICAL CLOCK的复制后，主从延迟得到了很大的改善，但是LOGICAL CLOCK一定程度上会受到master的并发度的影响。当master的并发度较低，每次组提交的事务数较少的时候，binlog在slave上的回放的并发度也会因此而降低，即使这些事务之间并没有任何冲突。示例： Trx1 -----L----C---------------------------------->Trx2 ----

腾讯数据库技术

2021-09-15

1.7K0

视频｜腾讯云企业级MySQL(CDB)-动态线程池功能

数据库 sql 云数据库 SQL Server 迁移

本文以视频+文字放送，为你带来腾讯云企业级MySQL-动态线程池功能【背景】 MySQL两种常用工作模式 MySQL比较常用的工作模式有两种，one-thread-per-connection 和 threadpool 模式。 one-thread-per-connection 是MySQL自带的工作模式，采用每个用户连接对应一个 handle_connection 线程的方式处理用户请求。Threadpool 最早由 percona 支持，CDB对其进行了改进。Thread_pool 采用相对固定数量

腾讯数据库技术

2021-09-09

6490

腾讯云企业级MySQL(CDB)-列压缩特性

文件存储 linux 数据库 sql 云数据库 SQL Server

本文以视频+文字放送，为你带来腾讯云企业级MySQL-列压缩特性【需求背景】当前MySQL有针对行格式级别以及数据库页面级别的压缩，这两种压缩方式在处理一个表，同时有大字段和其它很多小字段，并且针对小字段的读写访问频繁，对大字段的访问不频繁的场景中，它的读写访问都会压缩和解压数据，这造成许多不必要的计算资源浪费。腾讯云企业级MySQL（CDB）运用列压缩功能来压缩访问不频繁的大字段，同时能够减少整行字段的存储空间，进而提高整体读写访问的效率。例如一张员工表，前面三个字段分别表示员工 id、年龄以及

腾讯数据库技术

2021-08-19

8820

MySQL resource group详解

云数据库 SQL Server 数据库 sql api linux

提示：公众号展示代码会自动折行，建议横屏阅读「第一部分资源组简介」 MySQL-8.0中新增了resource group资源组的功能。MySQL资源组的想法来源很简单：每个资源组是一个资源独立的单位，每个资源组能够容纳一个或者多个MySQL线程。拥有设置资源组权限的DBA们能够创建、配置资源组以及指定、切换MySQL线程从属的资源组，从而更加精准地管控MySQL。每个MySQL资源组的属性包括： Name：资源组名 CPU affinity：可以使用的VCPU编号，系统可用的VCPU编号可以通

腾讯数据库技术

2021-08-04

8980

点击加载更多

社区活动

【纪录片】中国数据库前世今生

穿越半个世纪，探寻中国数据库50年的发展历程

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态