腾讯自研的数据库 - 腾讯云开发者社区 - 腾讯云

开发者社区

文档建议反馈控制台

文章/答案/技术大牛

发布

腾讯云自研数据库CynosDB存储架构揭秘

本文作者：许中清，腾讯云自研数据库CynosDB的分布式存储CynosStore负责人。从事数据库内核开发、数据库产品架构和规划。...曾就职于华为，2015年加入腾讯，参与过TBase（PGXZ）、CynosDB等数据库产品研发。专注于关系数据库、数据库集群、新型数据库架构等领域。...CynosDB for PostgreSQL是腾讯云自研的一款云原生数据库，其主要核心思想来自于亚马逊的云数据库服务Aurora。这种核心思想就是“基于日志的存储”和“存储计算分离”。...除此之外，每个Store Node会自动将数据和日志持续地备份到腾讯云对象存储服务COS上，用来实现PITR（即时恢复）功能。...从实例将至少需要保留主实例自从上次checkpoint以来所有产生的日志，一旦从实例产生cache miss，只能从存储上读取上次checkpoint的base页，并在此基础上重放日志缓存中自上次checkpoint

14.1K15 0

深度解析腾讯自研数据库CynosDB备份与回档

点击上方蓝字每天学习数据库作者介绍：林锦，腾讯云数据库团队高级工程师，曾任云计算初创公司系统架构师，从事分布式系统研发7年，2017年加入腾讯云，从事NewSQL研发工作，目前主要负责CynosDB...），硬件故障（如腾讯云磁盘静默错误），运营商网络故障等。...，采用共享存储架构，作为腾讯云NewSQL数据库家族成员之一，包括数据库实例，数据库控制台，数据库运维中台，集群管理系统，分布式存储与恢复系统，冷备系统等, 各个部分相互之间的联系如下图所示： ?...2）负责根据数据库实例设置的备份策略定期生成快照和清理快照。 3）根据回档请求在线上重构新的数据库实例。...启动日志流流程设置备份: 用户通过 ”数据库控制台” 的 “自动备份设置” 面板设置某个数据库实例的备份策略给数据库运维中台。

1.7K2 0

您找到你想要的搜索结果了吗？

是的

没有找到

免费报名 | 腾讯云自研数据库CynosDB交流会

All in 云+时代，数据库的高可用性、按需付费、按需扩展等属性解放了大批开发者。腾讯发布的自研数据库CynosDB作为国内首款同时兼容MySQL和PG的云原生数据库在业内引发热议，还不够了解TA？...本期腾讯云开发者社区技术沙龙将全方位解读CynosDB，揭秘技术内幕，解读兼容两大主流开源数据库的一主多读架构、高可用架构及快速恢复实现、可计算智能存储和分布式存储。

1.5K1 0

免费报名 | 腾讯云自研数据库CynosDB交流会

All in 云+时代，数据库的高可用性、按需付费、按需扩展等属性解放了大批开发者。...腾讯发布的自研数据库CynosDB作为国内首款同时兼容MySQL和PG的云原生数据库在业内引发热议，还不够了解TA？那么本期分享你一定不能错过！...Cloud native为云数据库以及传统数据库打开了崭新的发展方向，腾讯云CynosDB（MySQL）正是在此方向上衍生而来，专为云而打造CynosDB存储与计算分离的架构实现，不仅使其在产品性能、扩展性...数据库的高可用一直都是一个长盛不衰的议题，从最初的主从架构，到现在的计算存储分离的新型架构，都需要高可用。本次分享主要介绍Cynosdb for MySQL如何实现实例高可用及降低RTO。 ...在CynosDB的计算-存储分离架构里，数据库实例共享同一份数据，而且一主多读的设计与传统数据库相比也有很大差异。

1.3K3 0

腾讯云自研数据库CynosDB发布会现场实录

2018年11月22日，腾讯云新一代自研云原生数据库CynosDB正式发布。这是业界第一款全面兼容市面上两大最主流的开源数据库MySQL和PostgreSQL的高性能企业级分布式云数据库。...如果前两个重要的历史时期你们错过了，那么此时此刻是第三个重要的时刻，腾讯云自研的NewSQL数据库的诞生。我们首先来看一下云数据库有哪些类型，有两种，搬迁和云原生。...为了解决传统数据库的问题，我们作为云服务厂商提供了一个完整的一站式的解决方案——腾讯云自研的数据库产品CynosDB。...CynosDB是腾讯云自研的高性能、高可用、企业级云数据库，兼容开源数据库MySQL和PostgreSQL。我们来看一下我们当初是怎么考虑要设计这样一款数据库的。...这是腾讯独创的一个存储系统。我们在国内率先实现了“日志即数据库”的体系架构。什么意思呢？大家看到左边其实是传统数据库的一个体系架构。

1.3K2 0

免费报名 | 腾讯云自研数据库CynosDB交流会

All in 云+时代，数据库的高可用性、按需付费、按需扩展等属性解放了大批开发者。腾讯发布的自研数据库CynosDB作为国内首款同时兼容MySQL和PG的云原生数据库在业内引发热议，还不够了解TA？...Cloud native为云数据库以及传统数据库打开了崭新的发展方向，腾讯云CynosDB（MySQL）正是在此方向上衍生而来，专为云而打造CynosDB存储与计算分离的架构实现，不仅使其在产品性能、扩展性...cynosdb采用日志即数据库的方式，将日志下沉到后端分布式存储层实现，极大减少网络传输数据量，同时也提升了扩展性和可靠性。本次分享主要介绍cynosdb的分布式存储实现原理。...数据库的高可用一直都是一个长盛不衰的议题，从最初的主从架构，到现在的计算存储分离的新型架构，都需要高可用。本次分享主要介绍Cynosdb for MySQL如何实现实例高可用及降低RTO。 ...在CynosDB的计算-存储分离架构里，数据库实例共享同一份数据，而且一主多读的设计与传统数据库相比也有很大差异。

1.4K3 0

腾讯自研Git客户端UGit

今天在群里了解到腾讯的一个产品 UGit，我以为是刚刚推出的，看了下时间线，这个项目 2019 年就开始了，简单了解一下。 UGit 是由腾讯开发的 Git 客户端，目的是让每个人都能轻松使用Git。...还可以提示用户将超限文件纳入 Git LFS 管理，并支持清理 LFS 缓存以解决磁盘空间不足的问题。此外，UGit 支持超大文件（>4GB）的无损下载。...快速提交：UGit 的快速提交功能允许用户在没有远程新版本的文件的情况下直接完成提交，这样可以避免因远程频繁变更而中断提交流程，使得大型团队协作更加流畅。...这些功能使 UGit 成为一个强大的工具，特别是对于那些处理大量数据和需要高效协作的团队。如果你想了解更多信息，可以访问他们的官方网站。...未经允许不得转载：前端资源网 - w3h5 » 腾讯自研Git客户端UGit

2.9K1 0

腾讯自研MongoDB内核CMONGO正式开源

CMONGO CMONGO是TEG基础架构部在开源MongoDB源码的基础上进行了一系列优化的内核版本，目前包括腾讯云MongoDB和公司内部很多业务的MongoDB服务（如：ckv冷数据，微信账单等）...腾讯自研MongoDB内核CMONGO 正式开源 Github 开源地址： https://github.com/Tencent/CMONGO 请给 CMONGO 一个 Star !...欢迎提出你的 issue 和 PR ?

2.3K8 1

自研能力再获认可，腾讯云数据库入选 Forrester Translytical 报告

腾讯云数据库经历了腾讯业务的飞速发展，海量业务群雄并起时代，经过无数核心业务和亿级应用的苛刻打磨，在性能上逐渐突破了性能瓶颈、数据可靠性保障、高可用等“不可能三角”的技术难题。...在数据爆炸的时代，要满足客户日益增长的数据分析需求、实时性要求，腾讯云数据库选择HTAP解决方案破局，从具体的需求出发，解决TP与AP之间的数据同步链路，保证兼容性的同时提供灵活的能力，进而在延迟、并发...第七次全国人口普查实现全面电子化的背后主要由腾讯云数据库提供支持。...腾讯云数据库提供了“OLTP+OLAP”双引擎融合的企业级分布式数据库TDSQL，支持了十亿级用户数据、七百万个终端和百万级峰值TPS（每秒事务处理量），平稳、高效支撑第七次全国人口普查工作完成。...未来五年，腾讯云数据库还将助力1000家金融机构实现核心系统数据库国产化转型。﹀﹀﹀ -- 更多精彩 -- HTAP大潮下，TDSQL的探索与实践 14亿人的大项目，拿下！

1.3K2 0

干货分享 | 腾讯自研数据库CynosDB可计算智能存储揭秘

3月16日，由腾讯云云+社区主办的腾讯云自研数据库 CynosDB 交流会在北京圆满落幕，本次交流会全方位解读了CynosDB，揭秘技术内幕，解读兼容两大主流开源数据库的一主多读架构、高可用架构及快速恢复实现...关注腾讯云数据库官方微信，回复“0316”，即可下载本次交流会的全部PPT。本文为腾讯云数据库高级工程师樊伟分享的《CynosDB可计算智能存储揭秘》现场实录。...活动其他4位嘉宾分享内容将持续推送，请保持关注腾讯云数据库官方微信。现关注立得10元腾讯云无门槛代金券，体验移动端一键管理数据库。...嘉宾简介：樊伟，腾讯云数据库高级工程师，NCDB、NCBS后台开发，拥有多年分布式存储开发设计经验。 ? 樊伟演讲现场以下是演讲实录，点击图片即可查看放大阅读 ?...，它是腾讯云后端的存储平台，现在支撑的服务有块存储、数据库、文件，后面再做介绍。

1.2K1 0

干货分享 | 腾讯自研数据库CynosDB可计算智能存储揭秘

3月16日，由腾讯云云+社区主办的腾讯云自研数据库 CynosDB 交流会在北京圆满落幕，本次交流会全方位解读了CynosDB，揭秘技术内幕，解读兼容两大主流开源数据库的一主多读架构、高可用架构及快速恢复实现...关注腾讯云数据库官方微信，回复“0316”，即可下载本次交流会的全部PPT。本文为腾讯云数据库高级工程师樊伟分享的《CynosDB可计算智能存储揭秘》现场实录。...活动其他4位嘉宾分享内容将持续推送，请保持关注腾讯云数据库官方微信。现关注立得10元腾讯云无门槛代金券，体验移动端一键管理数据库。...嘉宾简介：樊伟，腾讯云数据库高级工程师，NCDB、NCBS后台开发，拥有多年分布式存储开发设计经验。 ? 樊伟演讲现场以下是演讲实录，点击图片即可查看放大阅读 ?...，它是腾讯云后端的存储平台，现在支撑的服务有块存储、数据库、文件，后面再做介绍。

7984 0

3月9日，腾讯云数据库自研荟首期开播！

同时，企业对数据库技术自主可控的要求也更加迫切，国产数据库在自研技术和产品能力上的“肌肉”就显得尤为重要。...为此，我们特推出DBTalk《腾讯云数据库自研荟》系列技术沙龙，在线解读腾讯在自研数据库领域取得的突破和实践，助力用户更低成本和更高效率实现数字化转型。...对于过去部署在海外商业数据库上，要将数据迁移至国产数据库的政企来说，会遇到从选型，到迁移，再到业务正常运行的全链路问题。...为此，《腾讯云数据库自研荟》第一期的去O专场将于3月9日19:00进行，本期分享将详细阐述TDSQL 如何在以内核兼容为基础，打造从管控、迁移、内核三个层面的 Oracle 兼容能力，帮助数据库开发者理解新时代行业需求下...，数据库内核技术方案中的设计精髓，推动国产数据库可持续发展。

5883 0

干货分享 | 腾讯自研数据库CynosDB分布式存储的核心原理

点击上方蓝字关注每天学习数据库作者简介：许中清，腾讯云自研云原生数据库CynosDB的分布式存储CynosStore负责人，负责数据库内核开发、数据库产品架构、规划和落地。 ?...腾讯云数据库CynosStore负责人许中清 ---- 3月16日，由腾讯云云+社区主办的腾讯云自研数据库 CynosDB 交流会在北京圆满落幕，本次交流会全方位解读了CynosDB，揭秘技术内幕，解读兼容两大主流开源数据库的一主多读架构...活动其他3位嘉宾分享内容将持续推送，请保持关注腾讯云数据库官方微信。现关注立得10元腾讯云无门槛代金券，体验移动端一键管理数据库。以下是演讲实录，点击图片即可查看放大阅读 ?...搜索关注腾讯云数据库官方微信，立得10元腾讯云无门槛代金券，体验移动端一键管理数据库，学习更多数据库技术干货。它的特点，第一是非对称读写，（写的是日志、读的是数据）。第二是异步写，同步读。...A：缩容的问题并不在pool，而是在文件系统缩容，因为有些页是在要缩容块里。我们缩容只在后面，不会是在中间。往期推荐《腾讯自研数据库CynosDB可计算智能存储》 ?

1.3K2 0

腾讯自研交换机系统优化之路

摘自https://www.opencompute.org/projects/sonic 腾讯自研交换机采用白盒硬件 + 自研NOS模式，基于SONiC( Software for Open Networking...中央数据库：使用redis数据库作为系统的数据总线，组件之间通过对数据库的发布/订阅进行消息通信，应用只需发布/订阅他们关注的数据而不用关注功能无关的实现细节，有效避免了组件之间的耦合； 3. ...但由于协议天然的局限性，BGP在跨跳故障收敛性能方面一直表现不佳。腾讯自研交换机团队与湖南大学合作推出的集中式路由算法，可以有效改善数据中心网络的故障收敛性能。...网关硬件卸载总体架构五、展望未来目前，腾讯自研交换机稳定运行近一年，大幅提升了网络系统的可靠性和运营效率，并在疫情期间承载腾讯云关键业务，经受住了考验。...随着网络端到端自研计划的逐步推进，腾讯自研交换机将会出现在越来越多的场景，为云而生的腾讯自研网络会在未来带给我们更多惊喜。

3.4K3 0

腾讯云自研数据库CynosDB存储系统如何实现即时恢复

本文作者：许中清，腾讯云自研数据库CynosDB的分布式存储CynosStore负责人。从事数据库内核开发、数据库产品架构和规划。...曾就职于华为，2015年加入腾讯，参与过TBase（PGXZ）、CynosDB等数据库产品研发。专注于关系数据库、数据库集群、新型数据库架构等领域。...目前担任CynosDB的分布式存储CynosStore负责人。 CynosDB for PostgreSQL是腾讯云自研的一款云原生数据库，其主要核心思想来自于亚马逊的云数据库服务Aurora。...CynosStore会为每一个数据库分配一段存储空间，我们称之为Pool，一个数据库对应一个Pool。数据库存储空间的扩缩容是通过Pool的扩缩容来实现的。...CynosStore通过持续不断地将各个SG上的数据和日志备份到腾讯云对象存储服务COS上。其中，基础数据的快照根据一定频率定期备份，而日志则从RAFT状态机中源源不断地向COS备份。

1.8K4 0

腾讯自研Java协程Kona Fiber的进阶之路

作者简介：郑淼，腾讯高级工程师，深入参与腾讯自研协程Kona Fiber以及ZGC的优化本文主要介绍腾讯大数据编译器研发团队自研的Java协程Kona Fiber最近一年来完善易用性（支持synchronized...万个线程），继而限制单机的并发数；对于类似图1.1的IO密集型业务（每个任务都要去访问外部数据库/网络），线程执行IO操作时，会让出CPU，CPU会切换到一个可以执行的线程。...使用协程，用户可以按照线程模型进行编程，同时获得接近异步编程的性能，且可以根据并发数创建任意数量的协程（单机可以创建几十万协程，Loom支持单机几千万的协程数量） ▍OpenJDK社区已有Loom，为什么还要自研...提供协程的核心能力：一个完整的协程实现，包含协程切换的能力、调度器的优化、类库的改造、新的语法糖的引入等等。...图2.1 ▍腾讯自研协程Kona Fiber最近一年的改进 Kona Fiber主要从易用性（支持synchronized锁、死锁检测、网络操作）和完整性（Kona Fiber 11支持ZGC）两个角度进行完善

2.8K1 0

自研Java协程在腾讯的生产实践

本文主要介绍协程的产生背景、java协程的发展历程、社区官方协程Project Loom的设计与实现，以及腾讯自研协程Kona Fiber的产生背景、设计与实现、性能测试和业务实践。 1....Kona 通过前面的分析可以看出，Loom的设计是非常完善的，对各种情况都有充分的考虑，用户只需要等待Loom成熟以后使用Loom即可。那么，为什么腾讯还需要自研一个协程Kona Fiber呢？...后来，在了解了腾讯内部自研的Kona Fiber后，业务方果断选择尝试切换Kona Fiber。...图7.2 右侧的battleService Thread存在访问数据库请求，业务方使用的是腾讯自研的Tcaplus数据库，为了避免协程退化成线程，业务方将数据库操作提交到一个独立的线程池来执行。...7.4 trpc-java trpc是腾讯公司自研的高性能、新老框架易互通、便于业务测试的RPC框架。一些使用trpc-java的用户对高并发+IO密集型程序有需求。

2.5K3 1

火速报名 | 探索无限可能，腾讯云数据库 HTAP 与自研技术的力量

腾讯云 TDSQL 数据库引擎在计算引擎性能飞跃和 HTAP 能力扩展方面取得了重大突破，为企业和开发者提供了更加高效、稳定的数据处理方案。未来数据库市场将会如何发展？...HTAP 技术又将如何进一步推动数据库市场的变革？同时，自研技术在数据库领域又将扮演怎样的角色？...基于这些疑问和思考，我们特别策划了 DB Talk 技术公开课与大家共同探讨数据库市场的未来发展趋势、HTAP 技术的应用前景以及自研技术的创新方向。...活动亮点行业领袖的前沿洞察：腾讯云数据库资深专家分享对数据库技术趋势的深刻见解，为参与者提供行业内最权威的分析和预测。...自研技术创新展示：腾讯云在数据库领域的最新自研成果展示，包括计算能力升级和 HTAP 能力扩展，这些创新将为企业数据管理带来质的飞跃。

3151 0

干货分享 | 腾讯自研数据库CynosDB计算存储分离架构的实现和优化

点击上方蓝字关注每天学习数据库作者简介：尚博，腾讯云数据库高级工程师，多年数据库内核研发经验，在事务、日志、存储、性能调优、SQL兼容性等方面有较深的研究和开发经验。 ?...腾讯云数据库高级工程师尚博 3月16日，由腾讯云云+社区主办的腾讯云自研数据库 CynosDB 交流会在北京圆满落幕，本次交流会全方位解读了CynosDB，揭秘技术内幕，解读兼容两大主流开源数据库的一主多读架构...现关注腾讯云数据库官方微信立得10元腾讯云无门槛代金券，体验移动端一键管理数据库。关注腾讯云数据库官方微信，回复“0316”，即可下载本文的PPT。以下是演讲实录，点击图片即可查看放大阅读。...关注腾讯云数据库官方微信，回复“0316”，即可下载本文PPT。往期推荐《腾讯自研数据库CynosDB可计算智能存储》《腾讯自研数据库CynosDB分布式存储的核心原理》 ?...羊毛速薅腾讯云数据库新春采购秒杀低至2.8折，09:00, 11:00, 14:00, 16:00, 19:00每天五场秒杀嗨购新春！点阅读原文即可进入会场，记得定好闹钟抢购哦~ ?

1.6K3 0

腾讯汤桢乾：腾讯自研交换机成长之路

2020 SONiC产业生态研讨会回顾 “2020 SONiC产业生态研讨会”于9月19日圆满落幕，腾讯网络平台部汤桢乾带来了主题演讲《腾讯自研交换机成长之路》。腾讯为什么要做自研？...其次，腾讯使用Redis数据库作为系统的数据总线，应用之间通过对数据库的发布和订阅进行消息通信，有效的避免了组件之间的耦合。...自研交换机支持gRPC的Set/Get/Push，可以高效读写数据库，支持批量配置下发。基于高性能框架打造的统一管理平台，实现了海量设备管理的自动化、智能化，真正做到了对人友好，对机器更友好。 ?...对于腾讯自研交换机来说，在硬件设计阶段引入了 BMC，可以在硬件层面做到管控分离。同时腾讯自研交换机可以跟服务器共享运营生态，真正的做到Switch as a Server。 ?...随着腾讯网络端到端自研计划的推进，已经逐步打造了一个自主可控的网络业务系统，相信未来腾讯自研交换机会给行业带来更多惊喜。 ?

1.7K4 0

点击加载更多

相关资讯

热门标签

活动推荐

运营活动

活动名称

广告关闭