专栏首页建站技术博客详解腾讯云新一代Redis缓存数据库
原创

详解腾讯云新一代Redis缓存数据库

【摘要】当前内存数据库发展迅速,用户对于存储系统的要求也越来越高,为了满足各类业务场景的需要,腾讯云设计了新一代的内存数据库,不但保留了原来系统的高性能、高可用等特性,同时还兼容了当前流行的Redis原生协议及使用方式.我们试图在解决原生方案短板的基础上,不断创新,使得新系统同时具备易懂、易用、易维护、高可靠、低成本等特点.主要体现在以下几个方面:

1.沿用了上一代自研系统使用共享内存的数据存储方案, 避免Reclis采用AOF机制,恢复时间过久的问题,极大的降低 了在升级、进程异常等场景产生的影响。同时。使用全新的快 照与流水机制,解决了Fork机制造成的内存预留问题。

2.在存储引擎方面,对于自研及开源方案进行重新分析 整理,进行了再次创新,不但使用多规格Block灵活组合的存 储方式,内部数据结构同样采用动态页管理,对比原生引擎, 极大的提高了内存使用率的同时,也降低了运行过程中产生 内存碎片的机率。 3.单进程多线程的模型让运维部署更加简便,同时精简 模块数量,让请求路径更短。

4.更加精细化的数据管理,实现快速的过期淘汰及精确的 LRU特性。

5.实现了强一致特陛,满足了金融等业务对于数据一致性 的强需求。

6.集群版模式中,支持了多数据库的场景,降低用户由主 从版迁移至集群版的使用门槛。

7.存储节点可直接转发用户请求,降低后台数据变更对于 客户端的依赖,原生主从版客户端可直接访问集群版,无需修 改代码。

8.我们正在兼容更多的原生数据库协议,让更多的用户可 以无缝切换,体验更多的新特性。 技术架构优化历程 在架构方面我们将当前比较流行的两层(不包含客户端) 结构简化成了单层。

Cache则是实际的数据存储节点。架构中不再显式设置接 入层,而是通过Cache转发用户请求,这样做的好处: ·单纯的存储或接入模块,由于对不同资源类型(cpu、网 卡、内存等)需求的倾斜,无法很好的提高当前高配机型的设 备利用率。也基于这个原因,理论上合并后的单层结构能更好 的利用硬件资源,节约成本; 38 ■flr]o~zha,’ ·减少模块数量可以减少大量运维操作,便于运维人员部 署及规划资源等; ·路由更接近数据,因此在某台Cache上进行数据迁移动 作时,可以更加实时的对用户请求做出应对(转发至最新的目 标),减少变更对用户请求的影响。 针对一些对于接人层有强需求的场景,比如,某业务的客 户端链接数极多,我们也有针对性的做了优化。

Cache可退化 为纯接人机使用,这样可以方便的扩展为两层结构,统一使用 一套代码,无需单独维护。 数据分布方面,采用了全部打散的方式,即在任意一台 Cache上既有主数据也有(其他业务)备份数据,完全以Shard 为粒度(物理内存单元)进行管理。 每台Cache的内存被划分为若干Shard,无论是主从版还 是集群版,用户的主或备数据可能落到任意Cache,分配策略 支持跨机架、跨机房等。这样做的目的有: ·不再有单纯的热备设备,减少低负载设备比例,充分利 用整个集群的网卡、CPU等资源; ·当一个或若干节点异常时,利用整个集群的能力进行容 错(切换流量)与恢复(在不同节点重建备份),避免雪球效应; ·在分配时,将考虑现有设备主备Shard比例及负载,优 化装箱算法,可是集群资源更加均衡。 由于CKV+兼容Redis协议及各种使用场景,因此也区 分了主从版与集群版。对于集群版来说,经过对比,数据哈希 仍然采用了Pre-sharding的方式。 对于单个Shard来说,最大可管理内存为8 T,由于目前设 备限制,实际最大可支

原创声明,本文系作者授权云+社区发表,未经许可,不得转载。

如有侵权,请联系 yunjia_community@tencent.com 删除。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 性能超前,详解腾讯云新一代Redis缓存数据库

    当前内存数据库发展迅速,用户对于存储系统的要求也越来越高,为了满足各类业务场景的需要,腾讯云设计了新一代的内存数据库,不但保留了原来系统的高性能,高可用等特性,...

    用户1532637
  • 云数据库时代,不重复造轮子的企业才会赢

    “到2023年,世界上3/4的数据库都会跑在云上。重复造轮子的企业不会走得太远,腾讯愿意做让企业站在自己肩膀上的巨人”

    腾讯云数据库 TencentDB
  • 腾讯云服务器 如何处理网站高并发流量问题?(含教程)

    很多平台一旦做大了,平台的流量就会陡增,同时并发访问的流量也会暴增,原本规划的硬件配置就无法满足当下的流量问题。

    弦山
  • 磊哥测评之数据库篇:云Redis vs 自建Redis

    上期我比较了腾讯云和阿里云的MySQL数据库,文章发布之后引起了一些反响,有质疑数据的,也有希望了解更多细节的同学。其实一个数据库产品的好坏,不光是QPS、TP...

    腾讯云数据库 TencentDB
  • 如何在云开发Cloudbase中使用Redis?

    云开发 Cloudbase 是腾讯云为移动开发者提供的云原生一体化应用开发平台,可用于开发多种客户端,它帮助开发者统一构建和管理资源,免去了应用开发过程中繁琐的...

    腾讯云开发TCB
  • 最高50万QPS! 腾讯云新发布Redis 4.0标准版突破性能极限

    Redis在缓存应用场景中拥有不可取代的地位,被广泛应用于数据缓存、游戏存储、分布式会话存储、实时分析和机器学习等场景。腾讯云在Redis数据库领域的不断突破,...

    用户6148407
  • 最高50万QPS,腾讯云新发布Redis 4.0标准版突破性能极限

    Redis在缓存应用场景中拥有不可取代的地位,被广泛应用于数据缓存、游戏存储、分布式会话存储、实时分析和机器学习等场景。腾讯云在Redis数据库领域的不断突破,...

    腾讯云数据库 TencentDB
  • 最高50万QPS,腾讯云新发布Redis 4.0标准版突破性能极限

    Redis在缓存应用场景中拥有不可取代的地位,被广泛应用于数据缓存、游戏存储、分布式会话存储、实时分析和机器学习等场景。腾讯云在Redis数据库领域的不断突破,...

    勤劳的小蜜蜂
  • 腾讯云数据库2020年度盛典等你来

    回首这一年,我们做了很多的事情。 疫情肆虐时,腾讯云数据库作为腾讯会议的底座,通过Redis、MySQL提供高性能、高可靠、快速扩展的缓存和存储能,保障每一个...

    腾讯云数据库 TencentDB
  • 腾讯云与英特尔打造进阶版Redis 释放硬件红利

    点击上方蓝字每天学习数据库 2019年4月3日,英特尔发布了英特尔® 傲腾TM 数据中心级持久内存,能够在几近内存级别的带宽和时延下,提供超持久化、超大的内存...

    腾讯云数据库 TencentDB
  • 如何在云开发Cloudbase中使用Redis?

    首先,我们简单的来再了解一下什么是云开发Cloudbase:云开发是腾讯云为移动开发者提供的一站式后端云服务,可用于开发多种客户端,它帮助开发者统一构建和管理资...

    Jiafuli
  • 重构内存数据库,优化体验和成本

    我们早已进入大数据时代,但是大众更多关心的是数据有多大,而不是这些数据存放在哪里,虽然后者关系到存储和访问数据的性能与成本。

    大数据在线
  • 【攻略】如何在云开发中使用 Redis?

    默认情况下,云开发的函数部署在公共网络中,只可以访问公网。如果开发者需要访问腾讯云的 Redis、TencentDB、CVM、Kafka 等资源,需要建立私有网...

    Booker Zhao
  • 腾讯会议空中加油级的扩容,只需按一个按钮

    受疫情影响,多数企业员工目前无法回到写字楼办公,学生推迟开学,稳定高效的进行远程办公和直播授课成为2020年的开年刚需。2月,腾讯宣布疫情期间免费开放可支持3...

    腾讯云数据库 TencentDB
  • 鹅厂招鹅 | 腾讯云数据库热招职位都在这!

    ? 疫情期间,为了尽快抑制病情的传播,以战胜疫情,全国人民开启了宅男宅女生活,更有童鞋开启了云吃饭、云旅游、云聚会等众多线上娱乐活动。 ? 而说到大家平时经常...

    腾讯云数据库 TencentDB
  • 腾讯云数据库价格介绍-腾讯云数据库MySQL

    腾讯云数据库为分为三种:1、mysql数据库 2、弹性缓存redis 3、高性能数据库mongodb 这三种类型的数据库。

    风吹的季节
  • 开源一周star上千,什么产品这么香?

    如果你正在面试,被问到了这些问题: 怎么给数据库加缓存? 数据库加缓存有哪些好的方案? 怎么保证数据库和缓存的数据一致性? 你会怎么回答? 这些问题可能大...

    腾讯云数据库 TencentDB
  • 在腾讯云上安装和使用 JuiceFS 存储

    JuiceFS 是一个云原生的企业级开源共享文件系统,广泛应用于大数据、企业级数据共享、Kubernetes 容器编排、AI 机器学习、Web 服务和内容管理、...

    谈笑有Herald
  • 2019 Redis社区年会动员倒计时!

    Redis中国用户组(China Redis User Group),简称CRUG,是中国地区最大的Redis技术交流社区。社区成立有近3年的时光,是信仰、是信...

    云加社区

扫码关注云+社区

领取腾讯云代金券