详解腾讯云新一代Redis缓存数据库

【摘要】当前内存数据库发展迅速,用户对于存储系统的要求也越来越高,为了满足各类业务场景的需要,腾讯云设计了新一代的内存数据库,不但保留了原来系统的高性能、高可用等特性,同时还兼容了当前流行的Redis原生协议及使用方式.我们试图在解决原生方案短板的基础上,不断创新,使得新系统同时具备易懂、易用、易维护、高可靠、低成本等特点.主要体现在以下几个方面:

1．沿用了上一代自研系统使用共享内存的数据存储方案， 避免Reclis采用AOF机制，恢复时间过久的问题，极大的降低 了在升级、进程异常等场景产生的影响。同时。使用全新的快 照与流水机制，解决了Fork机制造成的内存预留问题。

2．在存储引擎方面，对于自研及开源方案进行重新分析 整理，进行了再次创新，不但使用多规格Block灵活组合的存 储方式，内部数据结构同样采用动态页管理，对比原生引擎， 极大的提高了内存使用率的同时，也降低了运行过程中产生 内存碎片的机率。 3．单进程多线程的模型让运维部署更加简便，同时精简 模块数量，让请求路径更短。

4．更加精细化的数据管理，实现快速的过期淘汰及精确的 LRU特性。

5．实现了强一致特陛，满足了金融等业务对于数据一致性 的强需求。

6．集群版模式中，支持了多数据库的场景，降低用户由主 从版迁移至集群版的使用门槛。

7．存储节点可直接转发用户请求，降低后台数据变更对于 客户端的依赖，原生主从版客户端可直接访问集群版，无需修 改代码。

8．我们正在兼容更多的原生数据库协议，让更多的用户可 以无缝切换，体验更多的新特性。 技术架构优化历程 在架构方面我们将当前比较流行的两层(不包含客户端) 结构简化成了单层。

Cache则是实际的数据存储节点。架构中不再显式设置接 入层，而是通过Cache转发用户请求，这样做的好处： ·单纯的存储或接入模块，由于对不同资源类型(cpu、网 卡、内存等)需求的倾斜，无法很好的提高当前高配机型的设 备利用率。也基于这个原因，理论上合并后的单层结构能更好 的利用硬件资源，节约成本； 38 ■flr]o～zha,’ ·减少模块数量可以减少大量运维操作，便于运维人员部 署及规划资源等； ·路由更接近数据，因此在某台Cache上进行数据迁移动 作时，可以更加实时的对用户请求做出应对(转发至最新的目 标)，减少变更对用户请求的影响。 针对一些对于接人层有强需求的场景，比如，某业务的客 户端链接数极多，我们也有针对性的做了优化。

Cache可退化 为纯接人机使用，这样可以方便的扩展为两层结构，统一使用 一套代码，无需单独维护。 数据分布方面，采用了全部打散的方式，即在任意一台 Cache上既有主数据也有(其他业务)备份数据，完全以Shard 为粒度(物理内存单元)进行管理。 每台Cache的内存被划分为若干Shard，无论是主从版还 是集群版，用户的主或备数据可能落到任意Cache，分配策略 支持跨机架、跨机房等。这样做的目的有： ·不再有单纯的热备设备，减少低负载设备比例，充分利 用整个集群的网卡、CPU等资源； ·当一个或若干节点异常时，利用整个集群的能力进行容 错(切换流量)与恢复(在不同节点重建备份)，避免雪球效应； ·在分配时，将考虑现有设备主备Shard比例及负载，优 化装箱算法，可是集群资源更加均衡。 由于CKV+兼容Redis协议及各种使用场景，因此也区 分了主从版与集群版。对于集群版来说，经过对比，数据哈希 仍然采用了Pre-sharding的方式。 对于单个Shard来说，最大可管理内存为8 T，由于目前设 备限制，实际最大可支