腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

腾讯数据库技术

专栏作者

105

文章

214309

阅读量

399

订阅数

TDSQL-C OOM 优化

tdsql-c linux jquery 缓存存储

OOM是实例使用内存超过实例规格内存上限导致进程被kill，实例存在秒级的不可用。MySQL的内存管理比较复杂，内存监控需要开启performance schema查询(默认关闭)，会带来额外的内存消耗和性能损失，在不开启performance schema情况下排查内存使用情况又比较困难。本文将基于TDSQL-C（基于MySQL5.7）总结一下在线上经常出现的一些OOM的场景、排查手段及相应的优化方案。 ---- 一、MySQL线上常见OOM问题 1.1 表数量较多导致innodb数据字典内存占用多查

腾讯数据库技术

2023-02-03

1.5K0

MySQL 8.0 Atomic DDL

存储 sql 云数据库 SQL Server 数据库

背景 MySQL 8.0 DDL 是一个复杂的过程，涉及比较多的模块，例如：MDL 锁，表定义缓存，行格式，Row Log，DDL Log，online 属性，表空间物理文件操作等。本文主要通过与5.

腾讯数据库技术

2023-01-30

1.1K0

原创｜InnoDB数据页详解

存储文件存储网站

提示：公众号展示代码会自动折行，建议横屏阅读「前言」 InnoDB层的文件除日志文件外，都具有较为统一的物理结构。所有物理文件由页（page 或 block）构成，在未被压缩情况下，一个页的大小为UNIV_PAGE_SIZE（16384，16K）。不同用途的页具有相同格式的文件头和文件尾，其中记录了页面校验值、页面编号、表空间编号、LSN等通用信息。根据不同的应用场景和功能可以将页面分为多种类型，比如：每隔一定数量的页面后会使用extern描述页来记录每页空闲与否；Inode页面用于存储segment信息

腾讯数据库技术

2022-05-13

1.1K0

张青林：云原生数据库TDSQL-C在关键技术的多维突破

tdsql-c 数据库 sql 存储

// 2021年11月4日，云原生开源生态专场，由腾讯云数据技术总监张青林分别从海量存储、弹性缩扩容、秒级快速备份与回档和支持serverless4个维度分享腾讯云原生数据库TDSQL-C的显著特性，以及在不同业务应用场景中的内核技术优化实践。（以下是通过张青林现场演讲全文整理）传统数据库架构瓶颈在自研云原生数据库TDSQL—C之前，我们也做多年其他的云数据库产品，越到后面越发现传统数据架构存在着几方面问题：一、数据本地存储，随着业务的增长，单机存储量可能会大于单机磁盘容量限制，需要对业务进行迁

腾讯数据库技术

2021-11-15

9960

程彬：云原生时代的腾讯数据库技术实践

数据库 tdsql-c sql 存储云上实践

// 11月3/4日，以“数实融合，绽放新机”为主题，聚焦产业趋势与技术前沿，打造产业互联网顶级盛会的2021腾讯数字生态大会在武汉举办，腾讯云数据库技术负责人程彬进行了《云原生时代的数据库技术实践》的主题演讲，分别从云原生时代数据库技术何去何从，新时代下如何构建TDSQL-C数据库产品和TDSQL-C在云上实践经验等三个方面进行分享。（以下是通过程彬现场演讲全文整理）时来云转：云时代的数据库应云而生、依云而建当云计算这个词还热度未减时，云原生的时代却已悄然而至，也因此用户使用云的方式发生了极

腾讯数据库技术

2021-11-12

1.1K0

从 Clickhouse 到 Snowflake：云原生

node.js zookeeper 分布式对象存储存储

云原生Clickhouse 优势概述以Clickhouse为基础，借鉴Snowflake等系统的设计思路，打造一款高性能的云原生OLAP系统，为用户提供多场景下的一站式的数据分析平台。简单、易维护：集群管理、统一共享分布式调度服务高可用、可扩展：支持500万以上的Table 低成本：存储成本至少降低了50% 兼容开源，复用超高性能：兼容协议、语法、数据库存储格式 Clickhouse是一款性能十分强悍的OLAP引擎，凭借优秀的性能在用户行为分析、ABTest、在线报表等多个领域大放异彩，但是目前C

腾讯数据库技术

2021-09-07

1.9K0

云原生数据库TDSQL-C——云上应用研发方式的改变

数据库存储云原生数据库 TDSQL-C tdsql-c sql

文章出处：鹅厂架构师 2021年6月26日，腾讯云【TECHO】HUB技术巡回长沙站顺利开展，聚焦于数字媒体行业的云端实践。会上，腾讯云数据库高级工程师窦贤明重点分享了《腾讯云云原生数据库TDSQL-C——云上应用研发方式的改变》。由此，我们一起来看传统主备方式数据库与云原生数据库的对比演进。（传统的读写分离）传统数据库主备方式：存储各自独立主备间通过数据流复制保证数据一致，主库故障则切换到备库可用性与可靠性无法兼顾（云原生数据库计算存储分离）腾讯自研云原生数据库 TDSQL

腾讯数据库技术

2021-07-12

1.6K0

slave crash unsafe常见问题分析

存储数据库 sql

提示：公众号展示代码会自动折行，建议横屏阅读「第一部分背景」线上主从由于配置的问题，可能会导致slave crash重启后再建立主从时报1062或1032错误。本地复现时，发现crash前后有些binlog event会重复出现，怀疑可能是IO线程重复复制了一些event，才导致了这个问题。和我们问题相关的另外一个背景是Replication过程中的master info以及relay log info。在MySQL中，master info存储了slave IO线程持久化的relay log的位

腾讯数据库技术

2021-04-08

7420

腾讯云数据库两项内核技术入选国际顶会SIGMOD和ICDE

缓存数据库 tdsql-c sql 存储

今天，腾讯云两项数据库内核技术最新研究成果同时入选SIGMOD和ICDE的收录论文。其中，SIGMOD、ICED、VLDB并称为国际数据库三大顶级会议。先上干货：成功入选2021年SIGMOD 研究类长文的论文主题为“Spitfire:A Three-Tier Buffer Manager for Volatile and Non-Volatile Memory”。在这篇论文中，腾讯云原生数据库内核团队首次提出了多级缓冲管理器Spitfire的概念，通过一种新颖、低代价且有效的热数据识别方法

腾讯数据库技术

2021-01-29

1K0

基于LSM的存储技术的前世今生

unix 存储数据库 sql

1. 概述 Log-Structured Merge-trees (LSM树)被广泛应用在现代NoSQL系统存储层中，比如：BigTable、Dynamo、HBase、Cassandra、LevelDB、RocksDB和AsterixDB等等。不同于传统的索引结构（比如B+树）更新时直接在所在位置进行修改，LSM树则先将数据直接写入到内存，然后通过合并线程将内存数据刷新到磁盘。这种设计有很多好处，包括：超高的写性能、不错的空间利用率、可优化性、简单的并发控制和恢复机制等。 2. LSM树的

腾讯数据库技术

2020-04-26

2K0

江湖通缉令

文件存储存储数据库 sql

1. Who we are 腾讯TEG云架构平台部数据库&块存储团队为腾讯自研业务和腾讯云提供业界领先的云原生数据库CynosDB/CDB、块存储CBS和文件存储CFS服务。在这里，你有机会洞察到腾讯面向用户的国民级应用的数据存储奥秘，比如QQ、微信红包等。在这里，你有机会参与腾讯面向企业的腾讯云这艘航空母舰的数据存储技术底座。在这里，你还可以与前沿科技携手共行，为腾讯AI等业务构建全新数据存储能力。在这里，你可以和MariaDB基金会董事会成员、Oracle原厂工程师、国产数据库/存储知名架构师一

腾讯数据库技术

2020-04-13

5380

邀您参加 | 腾讯云自研数据库CynosDB技术交流会

postgresql 分布式微信存储数据库

点击上方蓝字关注每天学习数据库 All in 云+时代，数据库的高可用性、按需付费、按需扩展等属性解放了大批开发者。腾讯发布的自研数据库CynosDB作为国内首款同时兼容MySQL和PG的云原生数据库在业内引发热议，还不够了解TA？那么本期分享你一定不能错过！本期云+社区技术沙龙将全方位解读CynosDB，揭秘技术内幕，解读兼容两大主流开源数据库的一主多读架构、高可用架构及快速恢复实现、可计算智能存储和分布式存储。长按识别下方长图二维码，即可报名到现场与鹅厂技术大牛零距离交流！来不了现场的朋友，可以预

腾讯数据库技术

2019-05-16

6150

玩转MyRocks/RocksDB--STATISTICS与后台线程篇

云数据库 SQL Server 存储

0. Intro 在facebook的MySQL版本(以下称为MyRocks)中，RocksDB是可选的存储引擎。相比于InnoDB引擎，RocksDB的一个重要的优势是它使用更少的磁盘空间。在生产系统中，特别是用户数在亿级以上的互联网应用，磁盘空间是其中比较大的成本之一，而能够使用更少的磁盘空间的RocksDB无疑是具有吸引力的。然而在生产系统中使用新的存储引擎自然有它的潜在风险，除了通过外部的各种benchmark工具测试得到各种性能数据，全方位的内部指标可以帮助我们真正了解数据库内部正在发生的事情，

腾讯数据库技术

2018-06-05

1.2K0

如何让xtrabackup恢复速度提升20倍？

开源数据库存储

简介 Xtrabackup是由percona开源的免费数据库热备份软件，它能对InnoDB数据库和XtraDB存储引擎数据库进行非阻塞的备份，其具备以下一些优点： 1）备份速度快，物理备份可靠

腾讯数据库技术

2018-06-05

1.3K0

如何快速删除InnoDB中的大表？

云数据库 SQL Server 存储数据库

1. 背景在使用MySQL时，如果有大表的存储引擎是InnoDB，并且系统参数innodb_file_per_table设置为1，即每个文件对应一个独立的表空间，当对这些大表进行DROP TABLE时，有时会发现整个数据库系统的性能会有显著下降，包括一些只涉及几行数据的简单SELECT查询和DML语句，而且这些语句和正在删除的大表没有关系。造成这种现象的原因是什么呢？通过什么方式能缓解和避免这个问题呢？ 2. 已知的瓶颈 Percona曾经在MySQL官方5.5.23之前的版本中遇到过这个问题，并且提供

腾讯数据库技术

2018-06-05

8.6K3

没有更多了

社区活动

腾讯技术创作狂欢月

“码”上创作 21 天，分 10000 元奖品池！

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态