展开

关键词

开源一周star上千,什么产品这么香?

除了Redis,各大互联网厂商中有数十个自研的KV,这些KV在互联网的业务中起着至关重要的作用。 以Redis为代表的的这些产品虽然有着优秀的KV基因,但全内带来的高昂成本,以及在安全性和容量上的挑战,使得其在场景没有得到大规模的使用。 因此,Tendis诞生了。 腾讯云数据库Tendis是集腾讯众多海量KV优势于一身的Redis解决方案, 并100%兼容Redis协议和Redis4.0所有数据模型。 作为一个高可用、高性能的分布式KV数据库,从访问时延、持久化需求、整体成本等不同维度的考量,腾讯云数据库Tendis推出了混合版和版两种不同产品形态,并将版开源。 同时通过Tendis开源项目的平台,打造一个行业标杆级的分布式KV数据库产品,期待与您一起共建Tendis项目!

17720

降本95%,你们能做到吗?

伍华老师:Tendis是腾讯互娱CROS DBA团队和腾讯云数据库团队自主设计和研发的分布式高性能KV数据库,兼容Redis核心数据结构与接口,可提供大容量、低成本、强持久化的数据库能力,适用于兼容 冯浩老师:早期业务选择Redis作为KV首先方案,但随着业务数据量的成倍增长,成本问题就显得尤为突出,急需寻找成本更低且性能满足业务要求的KV替代方案。 在Tendis开源之前,我们已经调研了多款开源的KV软件,但集群方案相比redis cluster架构更为复杂,随之也会给我们带来额外的运维成本,而Tendis类似Redis cluster集群管理架构特性 KV分离的方案。 Q4:(对冯浩)业内开源了有很多歀KV软件,你们选择Tendis的理由是?

11010
  • 广告
    关闭

    对象存储COS专场特惠,1元礼包限时抢

    一站式解决数据备份、共享、大数据处理、线上数据托管的云端存储服务,新用户享四重好礼

  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    KV跨IDC容灾部署

    1.背景  目前部分KV不支持跨IDC部署,所以如果有机房故障的话,就会影响KV的可用性。本文提供了一种通过KV代理层来实现跨IDC容灾部署的方案。2.实现原理?   为了降低代理的压力,读写服务可以做读写分离,读取操作可以直接访问本地。3.KV代理层实现原理?   客户端通过API接入KV代理, 如果是写操作, 代理会先写流水再操作本地KV. 流水转发程序会每隔10ms扫描流水,然后转发给流水转换服务. ,而KV本身不一定是支持跨IDC容灾部署的。 本文提供了一个通用的解决方案,实现KV跨IDC容灾部署。

    78580

    memcache和redis的区别

    1、Redis和Memcache都是将数据放在内中,都是内数据库。 不过memcache还可用于缓其他东西,例如图片、视频等等2、数据类型–Memcache在添加数据时就要指定数据的字节长度3、mecache完全内redis可以实现持久4、Redis不仅仅支持简单的 kv类型的数据,同时还提供list,set,hash等数据结构的;Memcached只是简单的KV5、灾难恢复–memcache挂掉后,数据不可恢复; redis数据丢失后可以通过aof恢复

    62690

    vivo 大规模特征实践

    (2)数据量大、并发高、吞吐大特征场景要的数据量很大,内型的 KV(比如 Redis Cluster)是很难满足需求的,而且非常昂贵。 系统的冰山综合以上需求,最终我们决定兼容 Redis 协议,用户看到的只是一个类似单机版的 Redis 服务,但背后我们做了大量的可靠性保障工作。 庆幸的是,vivo 内部已经在 Redis Cluster 上实现了 CRDT Register ,并提供了保障数据跨机房可靠传输的组件,使得新 KV 可以站在巨人的肩膀上。 扩展成通用 KV 我们立项特征的时候,就目标要做成通用 KV ,成为更多数据库的强力底座。但要做成一个通用 KV ,还需要很多工作要落实,包括可靠性、平台能力、低成本方面的提升。 支撑对象的元数据元数据对“对象”来说至关重要,既然我们已经提供了一个强大的 KV 产品,是不是可以复用起来,减轻运维和研发维护的负担呢?

    45720

    腾讯,干掉 Redis 项目,正式开源、太牛逼啦!

    程序员的成长之路互联网程序员技术资料共享 项目简介Tendis是腾讯互娱CROS DBA团队 & 腾讯云数据库团队自主设计和研发的分布式高性能KV数据库,兼容Redis核心数据结构与接口,可提供大容量 、低成本、强持久化的数据库能力,适用于兼容Redis协议、需要大容量且较高访问性能的温冷数据场景。 Tendis冷热混合关键组件得益于Tendis版的设计和内部优化,Redis和Tendis版可以一起工作成为Tendis冷热混合 。混合区非常适用于KV场景,并平衡了性能和成本。 对于redis占用大量空间的冷数据降冷后可以最多减少80%的成本,同时保证了热数据在redis的访问性能。 同时通过Tendis开源项目的平台,打造一个行业标杆级的分布式KV数据库产品,期待与您一起共建Tendis项目!

    16710

    企业级分布式高性能KV数据库,腾讯Tendis正式开源

    项目简介 Tendis是腾讯互娱CROS DBA团队 & 腾讯云数据库团队自主设计和研发的分布式高性能KV数据库,兼容Redis核心数据结构与接口,可提供大容量、低成本、强持久化的数据库能力,适用于兼容 Redis协议、需要大容量且较高访问性能的温冷数据场景。 Tendis冷热混合关键组件 得益于Tendis版的设计和内部优化,Redis和Tendis版可以一起工作成为Tendis冷热混合。混合区非常适用于KV场景,并平衡了性能和成本。 对于redis占用大量空间的冷数据降冷后可以最多减少80%的成本,同时保证了热数据在redis的访问性能。 同时通过Tendis开源项目的平台,打造一个行业标杆级的分布式KV数据库产品,期待与您一起共建Tendis项目!

    47810

    卡哥带你实现引擎!

    所以今天我把自己曾经开发的 KV引擎 给大家介绍一波,大家可以拿去当做自己的项目经验。相信只要是搞后端的同学应该都要熟悉非关系型数据库redis吧,那么应该知道redis引擎是跳表实现的。 面试官一定会非常感兴趣的,然后你就可以和面试官侃侃而谈你是如何用跳表实现的这个KV引擎的。瞬间逼格就高了,有木有! 我在18年的时候,用跳表实现了一个轻量级KV引擎,代码也写的非常规范,熟悉我的录友应该知道,我的代码严格按照Google C++ style来的。 好了,牛逼吹完,然后给大家正式介绍一下这个项目KV引擎本项目就是基于跳表实现的轻量级键值型引擎,使用C++实现。 如果想自己写程序使用这个kv引擎,只需要在你的CPP文件中include skiplist.h 就可以了。

    18420

    redis还是memcache,源码怎么说?

    memcache和redis是互联网分层架构中,最常用的KV。不少同学在选型的时候会纠结,到底是选择memcache还是redis的内容比较大memcache的value,最大为1M,如果的value很大,只能使用redis。什么时候倾向于memcache? 纯KV,数据量非常大,并发量非常大的业务,使用memcache或许更适合。这要从mc与redis的底层实现机制差异说起。内分配memcache使用预分配内池的方式管理内,能够省去内分配时间。 redis则是临时申请空间,可能导致碎片。从这一点上,mc会更快一些。虚拟内使用memcache把所有的数据在物理内里。 网络模型memcache使用非阻塞IO复用模型,redis也是使用非阻塞IO复用模型。但由于redis还提供一些非KV之外的排序,聚合功能,在执行这些功能时,复杂的CPU计算,会阻塞整个IO调度。

    46350

    美团万亿级 KV 架构与实践

    KV 作为美团一项重要的在线服务,承载了在线服务每天万亿级的请求量。 在 2019 年 QCon 全球软件开发大会(上海站)上,美团高级技术专家齐泽斌分享了《美团点评万亿级 KV 架构与实践》,本文系演讲内容的整理,第一部分讲述了美团 KV 的发展历程;第二部分阐述了内 美团点评 KV 发展历程美团第一代的分布式 KV 如下图左侧的架构所示,相信很多公司都经历过这个阶段。 这个时候,我们发现有了一个比较成熟的 KV 开源项目:阿里 Tair 。2014年,我们引入了 Tair 来满足业务 KV 方面的需求。 这两个其实都是 KV 领域不同的解决方案。

    2.2K2018

    Nginx共享内剖析及开源项目分享

    介绍nginx共享内是利用mmap将内容在内中以及使用自旋锁。当master启动的时候,根据相应的指令去初始化共享内。利用共享内实现一个轻量级的kv系统。2. ,支持redis协议等。 添加定时器事件,定时的清除共享内中过期的key 添加读事件,支持redis协议,通过redis-cli get,set,del,ttlngx_shm_dict_view 共享内查看4. image.png5.3 添加共享内kv?image.png5.4 查询共享内kv?image.png5.5 回收共享内kv?image.png5.6 内部模块使用共享内? zone=test&key=abc redis-cli get abcredis-cli set abc 123redis-cli del abcredis-cli ttl abc

    27021

    美团万亿级 KV 架构与实践

    美团点评 KV 发展历程 美团第一代的分布式 KV 如下图左侧的架构所示,相信很多公司都经历过这个阶段。 在客户端内做一致性哈希,在后端部署很多的 Memcached 实例,这样就实现了最基本的 KV 分布式设计。 内 KV Squirrel 架构和实践在开始之前,本文先介绍两个系统共通的地方。比如分布式的经典问题:数据是如何分布的?这个问题在 KV 领域,就是 Key 是怎么分布到节点上的。 得到 Slot id 之后,再根据路由表就能查到这个 Slot 在哪个节点上。这个路由表简单来说就是一个 Slot 到节点的对照表。? Squirrel 和 Cellar 虽然都是 KV ,但是因为它们是基于不同的开源项目研发的,所以 API 和访问协议不同,我们之后会考虑将 Squirrel 和 Cellar 在 SDK 层做整合

    32720

    GaussDB(for Redis)揭秘第13期:如何搞定推荐系统难题?

    由于KV形式的数据抽象与特征数据极为接近,因此推荐系统里往往少不了Redis的身影。在上述系统的方案中,数据库选型为GaussDB(for Redis),而不是开源Redis。 原因是开源Redis在大数据场景下还是在显而易见的痛点:1. 数据无法可靠推荐系统其实希望既能使用KV数据库,又能放心将数据长久保。 但开源Redis的能力更侧重于数据的缓加速,而不是数据。而且开源Redis毕竟是纯内设计,即使有AOF持久化,但通常也只能秒级落盘,数据的保并不可靠。2. 理论上,架构设计并不是越复杂越好,如果可以,谁不想使用一种既能兼顾特征数据KV类型、成本友好、性能又有保障的可靠数据引擎? 华为云企业级数据库GaussDB (for Redis)提供稳定、可靠的KV能力,正是推荐系统核心数据的极佳选型。

    9100

    使用mysql模拟redis

    改业务代码是来不及了,只好用一些持久化 ,来模拟redis的一些数据结构。redis支持近十种数据类型,最常用的有5种。string、hash、zset、set、list等。 也就是你所使用的redis,其实使用mysql来数据的。没有rdb,也没有aof。Redis是文本协议redis是文本协议,协议名称叫做RESP。RESP 是 Redis 序列化协议的简写。 另外,由于我们不同的数据结构,是使用不同的表进行的。所以删除操作,要在每张表上都执行一遍。kv设计kv,即string,是redis里最基本的数据类型。 一个key对应一个value,string类型的值最大能512MB。设计专用的数据库表rstore_kv,其中,rkey是主键。 hash 特别适合用于对象。设计专用的数据库表rstore_hash,其中,rkey和hkey是联合主键。

    37010

    redis高性能数据结构之有序集

    ziplist 是一个紧挨着的空间,并且是没有预留空间的,随意对于ziplist优势在于节省空间,但是在容量大到一定成度扩容就是影响他的性能的主要原因之一。 SKIPLIST(跳跃表)简介redis的skipList 因为是有序的,所以需要一个hash结构来value和score的对应关系,另一方面需要提供按照score来排序的功能,还能够指定score kv 之间使用指针串起来形成了双向链表结构,它们是 有序 排列的,从小到大。不同的 kv 层高可能不一样,层数越高的 kv 越少。同一层的 kv 会使用指针串起来。 并且他不需要连续的内空间,所以说他对内是更友好的,当内剩余120KB的不连续的内时你使用链表还可以,但是你使用ziplist这样的数据结构不了,因为他需要的是连续的120KB。 struct zskiplistLevel { 前进指针 struct zskiplistNode *forward; 这个层跨越的节点数量 unsigned int span; } level, *x; 经过的节点跨度

    14110

    Redis云端架构深入浅出

    作者介绍:邹鹏,腾讯云数据库Redis产品负责人,多年数据库、网络安全研发经验。在网络、计算、、安全等领域有深入的研究和丰富的产品化经验。 在Redis、MySQL等数据库的高可用、高可靠和中间件方面有丰富的实践经验。Redis作为当今最为流行的KV数据库,在近年被广大开发者广泛使用。 8月11日,【3306π】社区成都站上,腾讯云数据库Redis产品负责人给大家带来Redis产品的打造中,对于架构的思考,以及自研KV数据库的设计思路。 image.png 1. Redis 认识Redis是一个开源的使用ANSIC语言编写、支持网络、可基于内亦可持久化的日志型、Key-Value数据库,并提供多种语言的API。 redis的出现,很大程度补偿了memcached这类keyvalue的不足,在部 分场合可以对关系数据库起到很好的补充作用。

    10.3K204

    加强版Redis,又一款国产高性能KV数据库开源了!

    项目简介 Tendis是腾讯互娱CROS DBA团队 & 腾讯云数据库团队自主设计和研发的分布式高性能KV数据库,兼容Redis核心数据结构与接口。 适用场景 兼容Redis协议,需要大容量且较高访问性能的温冷数据场景适合成本为主要考虑因素,业务数据有高持久化要求的业务场景解决原生Redis固有的fork问题而预留部分内问题主要特性 兼容Redis 持久化使用rocksdb作为引擎,所有数据以特定格式在rocksdb中,最大支持PB级。 Tendis冷热混合关键组件得益于Tendis版的设计和内部优化,Redis和Tendis版可以一起工作成为Tendis冷热混合。混合区非常适用于KV场景,并平衡了性能和成本。 对于redis占用大量空间的冷数据降冷后可以最多减少80%的成本,同时保证了热数据在redis的访问性能。

    26110

    淘宝中间件——tair

    Tair是阿里巴巴的一个开源KV中间件。提供快速访问的内(MDB引擎)持久化(LDB引擎)服务,基于高性能、高可用的分布式集群架构,满足读写性能要求高及容量可弹性伸缩的业务需求。 一个namespace下是如果放相同的key,那么内容会受到影响,在简单KV形式下会被覆盖,rdb等带有数据结构的引擎内容会根据不同的接口发生不同的变化。 比如可以很方便的将bdb、tc、redis、leveldb甚至MySQL作为Tair的引擎,而同时使用Tair的分布方式、同步等特性。 Tair主要有下面三种引擎:mdb,定位于cache缓,类似于memcache。支持kv取和prefix操作;rdb,定位于cache缓,采用了redis的内结构。 支持kv,prefix,list,hash,set,sortedset等redis支持的数据结构。?MDB流程?RDB流程??LDB流程 ? ?

    32430

    一周收获上千stars的Tendis的秘密

    tendis版是一款支持redis协议,数据放在磁盘的引擎。 可能有的人不太清楚,我们为什么要提供tendis版这么一款产品? 这里最主要的原因是,redis为我们提供高性能的同时,因为是数据全部于内,所以成本是非常高的。 这里讲解一下我们的主从复制实现方案: 这里我们采用binlog进行同步,里面的是物理kv。我们没有采用逻辑命令同步,主要是为了使得实现更简单,不需要对不确定性命令进行特殊处理。 前期的时候,我们的binlog和kv是在同一个cf里面的,这里会有一些性能的问题,所以我们将他们拆开了不同的cf,当然,还是在同一个事务进行提交,因为rocksdb是支持事物跨cf的。 另外,版在北京地域上线,大家可以自行访问腾讯云官网进行了解和购买,基于开源的力量,欢迎各位项目共建者,将Tendis打造成能业界最受欢迎的KV之一。

    28110

    疫情成本遭不住?一招降本85%,架构特性全部公开!

    这还要从当年Redis大热的时代开始说起,Redis得益于高性能以及丰富的数据结构命令,成为当时最受欢迎的KV数据库。 Tendis的发展历程并不短,从立项到开源,蛰伏了五年,要是算上想法的萌芽,时间还要再往前推,最终,腾讯结合了近10年Redis的使用和研发经验,终于打磨出这款自主研发的开源分布式高性能KV,并推出了混合版和版两种不同产品形态 Redis兼容性:完全兼容redis协议,支持绝大多数redis的指令 2. 持久化:使用rocksdb作为引擎,所有数据以特定格式在rocksdb中,最大支持PB级 3. 混合区非常适用于KV场景,并平衡了性能和成本。相比于redis,占用大量空间的冷数据降冷后可以最多减少80%的成本,同时保证热数据的访问性能。 ? 最后,我们希望,基于开源的力量,吸引大量的项目共建者,将Tendis打造成能业界最受欢迎的KV之一。欢迎点击「阅读原文」,在开源社区中提出您宝贵的Issue和Pull Requests!

    16810

    相关产品

    • 云数据库 Redis

      云数据库 Redis

      云数据库 Redis,数据库缓存,数据库存储,云数据库 云数据库 Redis(TencentDB for Redis)是腾讯云打造的兼容 Redis 协议的缓存和存储服务。丰富的数据结构能帮助您完成不同类型的业务场景开发。支持主从热备,提供自动容灾切换、数据备份、故障迁移、实例监控、在线扩容、数据回档等全套的数据库服务。 云数据库Redis是腾讯云打造的兼容 Redis 协议的缓存和存储服务。丰富的数据结构能帮助您完成不同类型的业务场景开发。支持主从热备,提供自动容灾切换、数据备份、故障迁移、实例监控、在线扩容、数据回档等全套的数据库服务。

    相关资讯

    热门标签

    活动推荐

      运营活动

      活动名称
      广告关闭

      扫码关注云+社区

      领取腾讯云代金券