首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

TiKV学习笔记

一、TiKV简介 1.1、TiKV概述 TiDB的存储用的TiKV, TiKV是基于RocksDB实现了分布式(可水平扩展,支持主从),RocksDB是对单机版LevelDB的封装。...TiKV是开源的、分布式、支持事务的VK数据库。 TiKV不仅提供了KV的API,且提供了兼容ACID的API。...TiKV保证数据一致性,TiKV基于Rust语言实现了Raft协议,一致性状态存储在RocksDB中。 PD (Placement Drive):用来实现auto-sharding,自动化数据迁移。...1.2、TiKV的主要Features Geo-Replication(异地数据同步) TiKV用Raft协议和PD来支持Geo-Replication(一种异地数据同步技术,它可以几乎实时地把GlusterFS...二、TiKV的架构 2.1、APIs TiKV提供了2中API: 1、Raw:Key-Value API, 以单个Key来保证原子性。

87730
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    CNCF to Host TiKV in the Sandbox

    Today, the Cloud Native Computing Foundation (CNCF) accepted TiKV, an open source distributed transactional...加入 CNCF 沙箱托管项目 云原生计算基金会 (CNCF)今天宣布接纳TiKV开源分布式事务键值数据库作为 CNCF 沙箱的早期发展云原生项目。...TiKV 采用 Rust构建,由 Raft(通过 etcd)驱动,并受到 Google Spanner 设计的激励,提供简化的调度和自动平衡,而不依赖于任何分布式文件系统。...TiKV 最初于 2016 年在 PingCAP 开发,现在得到三星、摩拜单车、今日头条、饿了么、腾讯云和 UCloud 的支持。用户包括北京银行、饿了么、Hulu、联想、摩拜单车和诸多其他企业。...原文链接:CNCF to Host TiKV in the Sandbox - Cloud Native Computing Foundation

    69320

    浅读TiKV源码:Coprocessor

    前言 前阵子在看TiKV统计信息收集实现的时候,看到了Coprocessor有两个版本的实现: 激起了我的好奇,所以有了这篇文章。...正文 在这里先科普一下:TiKV上的Coprocessor 主要是负责是执行物理算子,为 SQL 计算出中间结果,从而减少 TiDB 的计算和网络开销。...接着我随手一搜社区,社区人员是这么解答的: TiKV 的 Coprocessor V2 是对 Coprocessor 的升级和改进版本。...于是我翻看了社区的issue:github.com/tikv/tikv/i…以及merge request:github.com/tikv/rfcs/p… 心里有了些许b数——这个是用来扩展TiKV生态的...(见:github.com/tikv/tikv/p…)。另外,store这一层封装比起v1中的storage调用,是更加接近的底层的。无论从实现细节、注释以及模块关系上都可以印证这一点。

    6610

    CNCF宣布TiKV毕业

    PingCAP 首席工程师、TiKV 项目负责人唐刘表示:“开源已经成为全球基础软件发展的重要方向,作为 TiKV 项目的创始者,PingCAP 将持续努力,与社区一起为 TiKV 项目提供更多特性,让...几个存储系统都建立在TiKV之上,包括Prometheus-metrics-in-TiKV项目TiPrometheus。 “5年前我们创建TiKV时,就意识到TiKV不仅仅是TiDB的补充存储。”...社区还提供了TiKV操作器(TiKV operator)的设计和初步实现,这是一个Kubernetes操作器,旨在自动化TiKV集群的部署、管理和操作任务。...TiKV Maintainer、一点资讯分布式存储高级工程师陈付透露:“一点资讯自 2018 年开始使用 TiKV,现在已经是 TiKV 项目的深度用户。...日:TiKV 2.0发布 2017年10月16日:TiKV 1.0发布 2016年10月:TiKV beta版发布并投入生产 2016年4月1日:TiKV开源 点击【阅读原文】阅读网站原文。

    67430

    TiKV发布 3.0 GA版本

    今天,我们很自豪地宣布TiKV 3.0的普遍可用性!无论是跨越数百个节点,还是存储超过一万亿对键值对,我们都看到用户在真实的生产场景中对TiKV进行了测试。...通过统一日志格式、向tikv-ctl添加新特性、添加更深入的度量,以及提供基于HTTP的度量,我们赋能操作人员或操作器从TiKV中获得更多信息。这使得TiKV更容易操作、检查和监控。 完善请求类型。...https://github.com/tikv/tikv/blob/release-3.0/CHANGELOG.md 提升的性能 使用go-ycsb,我们将TiKV 3.0.0与TiKV 2.1.14进行了基准测试...https://github.com/tikv/tikv/graphs/contributors 还不是贡献者?如果你想参与TiKV的开发,并帮助推动TiKV的未来,请告诉我们。...https://github.com/tikv/tikv/issues 点击文末>进入网页了解更多。

    88910

    TiKV加入CNCF沙箱托管项目

    云原生计算基金会(CNCF)今天宣布接纳TiKV开源分布式事务键值数据库作为CNCF沙箱的早期发展云原生项目。...TiKV采用Rust构建,由Raft(通过etcd)驱动,并受到Google Spanner设计的激励,提供简化的调度和自动平衡,而不依赖于任何分布式文件系统。...PingCAP的首席工程师和TiKV项目负责人Siddon Tang表示:“随着我们产生和收集的数据量继续以惊人的速度增长,各组织需要一种方法确保云原生环境的水平可扩展性和高度可用性。...TiKV最初于2016年在PingCAP开发,现在得到三星、摩拜单车、今日头条、饿了么、腾讯云和 UCloud的支持。用户包括北京银行、饿了么、Hulu、联想、摩拜单车和诸多其他企业。

    44360

    TiKV + SPDK,探索存储的性能极限

    队的杨可奥,他们团队在本次 Hackathon 比赛中尝试使用 SPDK 提供的工具让 TiKV 基于用户态存储运行,并获得了显著的性能提升。...图中数据点的标签为客户端线程数,可以看出在容忍相同的延迟的前提下,基于 SPDK 的 TiKV 能够提供更高的 Ops 即更大的吞吐量。...TiKV 是否到了一定要通过它来提升性能的地步?我个人是很看好的:NVMe 磁盘的应用无论在民用还是工业都是大势所趋;而 TiKV 作为一款优秀的数据库产品,更高的性能也是它一贯地追求。...这些技术都颇为有趣,也许在将来其中的一个或多个会出现在 TiKV 中,成为迈向更高存储性能的基石。 TiDB Hackathon 2020 项目分享 ?...TiKV + Flink = 最佳人气流批一体库 不提升性能也拿奖?

    59020

    TiKV 集群版本的安全迁移

    常见的当我们对引入新的 RaftCommand 的时候,旧版本的 TiKV 并不能识别新的添加的 RaftCommand,对于不能认知的 RaftCommand TiKV 有不同的处理,可能会报错退出或忽略...在集群启动的时候,每个 TiKV 都需要向 PD 注册,注册时会带上版本信息。当当前 TiKV 的版本低于集群版本的时候,该 TiKV 会注册失败。...如果 TiKV 的版本高于或等于当前的 cluster_version 时, TiKV 能够注册成功并成功启动。...版本特性的开启 TiKV 很多功能是需要 PD 的参与,目前这些新功能的开启也是通过 PD 进行控制的。...比如说 Add Leaner,Region Merge,Joint Consensus 需要 PD 下发调度给 TiKV,Batch Split 则是 TiKV 主动发起并请求 PD 分配新的 Region

    82900

    TiKV + SPDK,探索存储的性能极限

    本篇文章的作者为 ️ ️队的杨可奥,他们团队在本次 Hackathon 比赛中尝试使用 SPDK 提供的工具让 TiKV 基于用户态存储运行,并获得了显著的性能提升。...技术实现 在这次实践中,我们将 “下探” 到上述的步骤五 —— 即从 TiKV 直接向 NVMe 磁盘发送指令。正如前文所言,“下探” 到哪一步事实上是一个权衡。...在将 SPDK blobfs 集成至 TiKV 中之后,应该能够获得较大的性能提升。 结果分析 期待着获得性能提升的尝试最终总要跑一跑 Benchmark 来看看它是否能达到预期。...TiKV 是否到了一定要通过它来提升性能的地步?我个人是很看好的:NVMe 磁盘的应用无论在民用还是工业都是大势所趋;而 TiKV 作为一款优秀的数据库产品,更高的性能也是它一贯地追求。...这些技术都颇为有趣,也许在将来其中的一个或多个会出现在 TiKV 中,成为迈向更高存储性能的基石。

    70130

    TiKV 源码解析系列文章(一)序

    作者:唐刘 TiKV 是一个支持事务的分布式 Key-Value 数据库,有很多社区开发者基于 TiKV 来开发自己的应用,譬如 titan、tidis。...尤其是在 TiKV 成为 CNCF 的 Sandbox 项目之后,吸引了越来越多开发者的目光,很多同学都想参与到 TiKV 的研发中来。...而对于第二个问题,我们会启动 《TiKV 源码解析系列文章》以及 《Deep Dive TiKV 系列文章》计划,在《Deep Dive TiKV 系列文章》中,我们会详细介绍与解释 TiKV 所使用技术的基本原理...要理解 TiKV,只是了解 https://github.com/tikv/tikv 这一个项目是远远不够的,通常,我们也需要了解很多其他的项目,包括但不限于: https://github.com/pingcap...我们希望通过该源码解析系列,能让大家对 TiKV 有一个更深刻的理解。当然,TiKV 的源码也是一直在不停的演化,我们也会尽量保证文档的及时更新。 最后,欢迎大家参与 TiKV 的开发。 [1240]

    1.4K51

    TiKV 是如何存取数据的(下)

    上篇文章中,我们介绍了与 TiKV 处理读写请求相关的基础知识,下面将开始详细的介绍 TiKV 的读写流程。...Enjoy~ 作者:唐刘 @siddontang RawKV TiKV 提供两套 API,一套叫做 RawKV,另一套叫做 TxnKV。...SQL Key Mapping 我们在 TiKV 上面构建了一个分布式数据库 TiDB,它是一个关系型数据库,所以大家需要关注的是一个关系型的 table 是如何映射到 key-value 上面的。...TiDB 在操作 TiKV 的时候需要保证操作 keys 的一致性,所以需要使用 TxnKV 模式。...结语 上面简单的介绍了下 TiKV 读写数据的流程,还有很多东西并没有覆盖到,譬如错误处理,Percolator 的性能优化这些,如果你对这些感兴趣,可以参与到 TiKV 的开发,欢迎联系我 tl@pingcap.com

    1.2K20

    TiKV 是如何存取数据的(上)

    作者:唐刘 siddontang 本文会详细的介绍 TiKV 是如何处理读写请求的,通过该文档,同学们会知道 TiKV 是如何将一个写请求包含的数据更改存储到系统,并且能读出对应的数据的。...基础知识 Raft [Raft] TiKV 使用 Raft 一致性算法来保证数据的安全,默认提供的是三个副本支持,这三个副本形成了一个 Raft Group。...这里,TiKV 参考了 Google 的 Percolator,对 2PC 进行了优化,来提供分布式事务支持。...RocksDB TiKV 会将数据存储到 RocksDB,RocksDB 是一个 key-value 存储系统,所以对于 TiKV 来说,任何的数据都最终会转换成一个或者多个 key-value 存放到...基础知识就介绍到这里,下篇我们将详细的介绍 TiKV 的读写流程~ 敬请期待!

    1.5K20
    领券