腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

腾讯云数据库(TencentDB)

数据库

专栏作者

837

文章

1420683

阅读量

399

订阅数

数据库内存管理遇到的麻烦事儿，今天给一点解法

tdsql-c linux jquery 缓存存储

OOM是实例使用内存超过实例规格内存上限导致进程被kill，实例存在秒级的不可用。MySQL的内存管理比较复杂，内存监控需要开启performance schema查询(默认关闭)，会带来额外的内存消耗和性能损失，在不开启performance schema情况下排查内存使用情况又比较困难。本文将基于TDSQL-C（基于MySQL5.7）总结一下在线上经常出现的一些OOM的场景、排查手段及相应的优化方案。 ---- 一、MySQL线上常见OOM问题 1.1 表数量较多导致innodb数据字典内存占用多查

腾讯云数据库 TencentDB

2023-02-13

1.1K0

【直播预告】敏态业务挑战下，作业帮、微盟的数据库落地与调优实践

数据库 sql TDSQL MySQL 版缓存云直播

面对数字时代线上流量的冲击，业务系统访问及数据量呈指数级上升，对数据库的安全性、稳定性、高可用都提出了更高的要求。企业一方面要维持传统业务的平稳运行，另一方面，也需要应对市场急速变化带来的敏态业务挑战。当开源数据库已经不能满足千变万化的业务需求、国产数据库成为企业首选，自研数据库的重要性不言而喻。9 月 26 日 19:00-21:00，DBTalk直播间邀请了 3 位技术专家，分享数据库自研过程中遇到的技术挑战与解决之道，以及具体业务场景中数据库落地调优经验。议题介绍云原生下缓存架构如何演变分享

腾讯云数据库 TencentDB

2022-09-22

2860

向量化执行从理论到实现，仅需五步！ | DB·洞见

缓存编程算法数据库数据结构 sql

随着硬件技术的不断发展，数据库系统也需要进行相应的优化，以便可以充分发挥出底层硬件提供的能力。以查询计划执行为例。原有的数据库执行一个查询计划，往往采用火山模型的方式。这种上层算子递归调用下层算子获取并处理元组的方式，存在虚函数调用次数较多、指令或数据cache miss率高的缺陷，并且这种一次处理一个元组的方式无法使用CPU的SIMD指令进行优化，从而造成查询执行效率低下的问题。向量化执行就是解决上述问题的一种有效手段。探索前沿研究，聚焦技术创新。本期DB·洞见由腾讯云数据库高级工程师胡翔为大家介绍向

腾讯云数据库 TencentDB

2022-08-26

1.9K1

新一代云原生数据库畅想

存储数据库对象存储分布式缓存

云与分布式是数据库发展的两大趋势，那云时代下新一代数据库会是什么样的呢？腾讯云数据库专家工程师窦贤明讲师给大家分享了自己的畅想，基于冷热分级存储与ServerlessDB结合的新一代数据库。基于腾讯云数据库TDSQL-C PostgreSQL在云原生这条路上的一些探索，重点从Serverless 数据库和分级存储（冷热分离）的设计与实现两个方面进行分享。内容主要分为四个部分：第一部分：介绍云时代的数据库的背景；第二部分：探讨云上数据库进化的逻辑是什么、方向是什么；第三部分：描述Serverless数

腾讯云数据库 TencentDB

2022-06-24

7450

腾讯云Redis全面升级，性能提升400%，可用性高达5个9

云数据库 Redis 电商缓存数据库

2022年6月，腾讯云Redis全新升级，发布高性能版本，单节点可提供50W+吞吐，性能是原生Redis的4倍。同时，腾讯云Redis推出全球复制功能，解决原生Redis诸多痛点问题，可用性升级高达99.999%，助力企业实现降本增效。 Redis作为全球最受欢迎的NoSQL数据库之一，凭借着极高的吞吐、极低的响应延迟和丰富的功能特性，成为企业在缓存场景中的首选方案。但在突发、热点访问及异地多活场景下，原生Redis方案会出现主从复制延迟、数据同步不连续、多地写入等问题，无法解决海量数据在规模、成本、数据

腾讯云数据库 TencentDB

2022-06-07

1.7K0

叮咚买菜自建MongoDB上腾讯云实践

mongodb 数据库云数据库 MongoDB 缓存 sql

随着近年来公有云技术及云基础设施的发展，越来越多的企业转为使用公有云来托管自己的服务。云数据库因为数据可靠性、资源弹性、运维便捷行，云上数据库服务也正成为企业数据管理的较好的选择。本文以叮咚买菜自建MongoDB数据库整体迁移上腾讯云MongoDB为背景，分享叮咚买菜上云过程中的遇到的疑难问题及对应的性能优化解决方法等，主要包括以下分享内容： · 云上MongoDB版本选型 · 安全上云及切换方案 · 叮咚买菜业务侧性能优化 · 上云遇到的疑难问题及解决方法 · 自建上

腾讯云数据库 TencentDB

2021-12-15

4.1K3

亿级月活全民K歌Feed业务在腾讯云MongoDB中的应用及优化实践

mongodb 云数据库 MongoDB 缓存数据库 sql

全民K歌作为腾讯音乐集团四大产品线之一，月活超过1.5亿，并不断推出新的音娱功能及新玩法，极大丰富了数亿用户的音乐娱乐活动。 MongoDB天然支持高可用、分布式、高性能、高压缩、schema free、完善的客户端访问均衡策略等功能。作为腾讯音乐集体核心部门，K歌Feed等业务采用腾讯云MongoDB作为主存储服务，极大的方便了K歌业务的快速迭代开发。本文主要分享K歌技术演进过程中的一些踩坑过程、方案设计、性能优化等，主要包括以下技术点：全民K歌业务特性 Feed业务读写选型 Feed数据吐出控制策

腾讯云数据库 TencentDB

2021-12-06

1K0

NVM原生数据库技术解读

缓存数据库 sql 编程算法

为让更多数据库从业者了解数据库领域最新研究成果，熟悉行业前沿发展趋势，腾讯云数据库计划举办系列“DB · 洞见”活动，打造数据库技术交流平台，邀请学界及腾讯技术大咖，解读数据库基础技术创新趋势，分享数据库技术创新成果。今天为大家带来“DB · 洞见”系列活动第一期的部分内容，由中国人民大学信息学院计算机科学与技术系主任柴云鹏教授解读NVM原生数据库技术，以下是分享实录： NVM原生数据库概述今天我分享的主题为“NVM原生数据库技术”，内容分三个部分，主要涉及到下面这五篇VLDB 2021的论文。首先我

腾讯云数据库 TencentDB

2021-10-26

1.1K0

这就是TDSQL的向量化执行引擎？有效降低函数调用开销，提升CPU利用率

数据库批量计算分布式缓存存储

在“国产数据库硬核技术沙龙-TDSQL-A技术揭秘”系列分享中，5位腾讯云技术大咖分别从整体技术架构、列式存储及相关执行优化、集群数据交互总线、Fragment执行框架/查询分片策略/子查询框架以及向量化执行引擎等多方面对TDSQL-A进行了深入解读。没有观看直播的小伙伴，可要认真做笔记啦！今天带来本系列分享中最后一篇腾讯云数据库高级工程师胡翔老师主题为“TDSQL-A向量化执行引擎技术揭秘”的分享的文字版。作为领先的分析型数据库，TDSQL-A是腾讯首款分布式分析型数据库，采用全并行无共享架构，具有自

腾讯云数据库 TencentDB

2021-08-05

7900

一款受欢迎的KV存储数据库是如何炼成的？

云数据库 Redis 存储缓存数据库 sql

自2015年开始，手游从萌芽期发展到如今炙手可热的领域，发展的速度之快一定推动了背后技术的改革换新，传统的技术为了适应新时代的变化，也会不断进化，而Tendis的出现也让所有关注朋友们眼前一亮，那么，如何打造一款受欢迎的KV存储数据库？ 5月22日08:50-18:00，3306π将集结多位行业专家，在广东广州天河区黄埔大道中322号粤大金融城国际酒店六楼平安厅与大家相约互动，点击「阅读原文」即可报名。此次活动中，腾讯云数据库专家工程师，Tendis技术负责人陈福荣也将分享《如何打造一款受欢迎的KV存储

腾讯云数据库 TencentDB

2021-05-24

2.2K2

腾讯云超火开源数据库产品架构揭秘

缓存云数据库 Redis 存储数据库数据结构

Redis 作为高性能缓存经常被广泛应用到各个业务——如游戏的排行榜、分布式锁等场景。但Redis也并非万能的，在长期的使用过程中，我们也遇到 Redis 一些痛点问题, 比如内存占用高, 数据可靠性差, 业务维护缓存和存储的一致性繁琐等。因此，腾讯云数据库Tendis诞生了，今天，我们就结合视频，一起回顾腾讯云数据库Tendis混合存储版的整体架构, 并且详细揭秘其内部的原理。进入“腾讯云数据库”公众号，后台回复“0331李景军”，即可下载分享PPT。 Redis&Tendis 使用 Redis

腾讯云数据库 TencentDB

2021-04-19

9600

数据库诊断不了的，腾讯大神来“诊断”

缓存数据库 sql 云数据库 SQL Server linux

| 作者王文安，腾讯CSIG数据库专项的数据库工程师，主要负责腾讯云数据库 MySQL 的相关的工作，热爱技术，欢迎留言进行交流。 ---- 有时候，遇到同样的 SQL 语句在正式环境的主库和只读实例的执行时间相距甚远时，第一时间就会想到是不是采样信息不一致，导致执行计划不准，从一个高效的查询变成了慢查询。找到问题所在之后，自然是 analyze 一下，重新采集信息就好，这个时候，却发现 analyze 表上的所有 select 突然卡住了，不返回任何结果。这时候该怎么处理呢？先上结论，如果这种现象

腾讯云数据库 TencentDB

2021-03-29

1.7K0

用数据库的三大糟心时刻，你中招了吗

缓存云数据库 Redis 存储数据库 sql

数据库发展至今，已经有许多人为的分类和产品，开发者使用最多的关系型数据库，包括MySQL、PG和SQL Server；为适应新的业务逻辑和场景而生的缓存数据库Redis、Memcached；顺应数据爆炸时代的分析型数据库ClickHouse；以及一些其他的图数据库和时序数据库等。而在开发者眼中，这些分类并不是这么重要，大多数开发者使用数据库的日常是这样的：申请资源——设计表结构——写SQL语句——找DBA审核语句——复现诡异问题——申请扩缩容。而在一遍遍的日常中，总有些痛点让人糟心。接下来就给大家盘点开

腾讯云数据库 TencentDB

2021-03-03

1.3K0

MySQL之父，MySQL官方，三大顶会齐赞，凭什么？

云数据库 SQL Server 缓存 tdsql-c 数据库

工作久了，人总会有种忘记初心的感觉。相信每个人小时候都想过成为一名科学家，只不过到后来，连自己都忘了。当一名科学家确实不容易，学术研究难，薪酬待遇还不高，如果不是真的热爱，很难走下去。但在腾讯，你可以把学术当成工作，工作就是做学术，而且两者都可以做得很好。是的，你没有听错。今天，腾讯云两项数据库内核技术的研究成果再次入选SIGMOD和ICDE的收录论文。其中，SIGMOD、ICDE、VLDB并称为国际数据库三大顶级会议。另外，据说在学术圈，一篇SIGMOD或者ICDE就能当副教授了？这么看的话，

腾讯云数据库 TencentDB

2021-01-28

5790

疫情成本遭不住？一招降本85%，架构特性全部公开！

存储开源云数据库 Redis 运维缓存

在20年12月20日，我们开源了腾讯云数据库Tendis存储版，同时这款产品也在一周内就Star上千。这款产品为什么这么香？对于它的适用场景、架构、特性和发展历程，在很多开发者心中都是一片空白。时隔一个月，在Tendis第一次开发者交流会上，这些问题得到了解答。那么，Tendis到底为何而生？答案是降本和增效。这还要从当年Redis大热的时代开始说起，Redis得益于高性能以及丰富的数据结构命令，成为当时最受欢迎的KV内存数据库。然而，“高丘之下，必有峻谷”，社区版Redis纵然强大，但也只覆盖了缓

腾讯云数据库 TencentDB

2021-01-27

4820

开源一周star上千，什么产品这么香？

云数据库 Redis 缓存存储数据库 sql

如果你正在面试，被问到了这些问题：怎么给数据库加缓存？数据库加缓存有哪些好的方案？怎么保证数据库和缓存的数据一致性？你会怎么回答？这些问题可能大概率都是围绕着MySQL+Redis展开，一直以来，Redis因其全内存、架构简洁、丰富数据模型和多指令方面的特性，在性能和效率上表现出色，亚毫秒的响应时延使得Redis在缓存场景成为开发者的首选。除了Redis，各大互联网厂商中有数十个自研的KV存储，这些KV存储在互联网的业务中起着至关重要的作用。以Redis为代表的的这些产品虽然有着优秀的KV

腾讯云数据库 TencentDB

2021-01-11

6360

腾讯云数据库2020年度盛典等你来

缓存数据库 sql 云数据库 SQL Server 云数据库 Redis

回首这一年，我们做了很多的事情。疫情肆虐时，腾讯云数据库作为腾讯会议的底座，通过Redis、MySQL提供高性能、高可靠、快速扩展的缓存和存储能，保障每一个用户高清流畅无延时的使用体验。在如今万物联系越来越紧密时，发布腾讯云数图TGDB，为未来的产业形态底层支持提供新的想象空间。开源数据库TBase再次升级，为欧洲航天局提供支持，用于行星探索。腾讯云Redis混合存储版上线，跨过一致性、缓存击穿和缓存雪崩三座大山。腾讯云MySQL 8.0上线，性能超越官方版本，诸多特性加持下进一步提升性能，通

腾讯云数据库 TencentDB

2020-12-11

5890

怎样让数据库再快一点？

缓存数据库数据分析 sql 存储

| 作者张鹏义，腾讯云数据库高级工程师，曾参与华为Taurus分布式数据研发及腾讯CynosDB for PG研发工作，现从事腾讯云Redis数据库研发工作。 ---- 存储体系结构回顾一下计算机的存储体系结构。正如下图所示，计算机存储设备根据访问速度及容量等形成了一个金字塔形的层次结构。在这个层次结构中，从上到下，设备的访问时延越来越大，容量也越来越大，而每字节的造价也越来越便宜。在这个层次结构中，每一层都被看作是其下一层次的缓存。同时在这个层次结构中存在一个明显的分界线，如图中绿色的虚线。在

腾讯云数据库 TencentDB

2020-10-09

1.9K0

这个MySQL优化原理剖析，比照X光还清楚

对象存储 sql 数据库云数据库 SQL Server 缓存

| 作者沈启超，19年硕士毕业于东南大学，目前在腾讯CSIG企业产品部担任后台开发，同时也参与公司内部存储开源组件MySync的开发。 ---- 前言：MySQL架构体系首先分享实验前的基础知识，MySQL主要分为Server层与存储引擎层。 Server层主要包含连接器、检索内存、分析器、优化器、执行器等，所有跨存储引擎的功能均于这一层构建，例如存储过程、触发器、视图，函数等，有一个标准化的binglog日志模块。存储引擎负责数据的存储与存取，使用可更换的插件式架构，拥有InnoDB、MyISA

腾讯云数据库 TencentDB

2020-09-25

6510

双写又不一致…我该怎么办？

缓存数据库 sql 消息队列 CMQ 版 kafka

| 作者马艺超，腾讯课堂开发工程师，主要负责腾讯课堂的后台相关业务开发。 ---- 导语缓存由于其高并发和高性能的特性，十分适合现在很多的场景，因此也已经在各种项目中被广泛使用，但随之而来的问题就是，只要用缓存，就可能会涉及到缓存与数据库双存储双写，只要是双写，就一定会有数据一致性的问题。那么问题来了，你如何解决一致性问题？改造思路一：先数据库再缓存一、先更新数据库再更新缓存同时有请求A和请求B进行更新操作，那么会出现： 1. 线程A更新了数据库 2. 线程B更新了数据库 3. 线程B更

腾讯云数据库 TencentDB

2020-09-11

1.1K0

点击加载更多

社区活动

腾讯技术创作狂欢月

“码”上创作 21 天，分 10000 元奖品池！

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态