前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >TiKV发布 3.0 GA版本

TiKV发布 3.0 GA版本

作者头像
CNCF
发布2019-12-04 16:12:44
8890
发布2019-12-04 16:12:44
举报
文章被收录于专栏:CNCF

今天,我们很自豪地宣布TiKV 3.0的普遍可用性!无论是跨越数百个节点,还是存储超过一万亿对键值对,我们都看到用户在真实的生产场景中对TiKV进行了测试。在3.0中,我们应用了从这些部署中学到的经验,带来了许多新特性,可以更好地支持用户不断增长的需求。

在发布之前,TiKV 3.0还跟TiDB一起进行了官方的Jepsen测试。和Kyle一起工作是一件非常愉快的事,我们找到了新的方法来测试我们的项目!

https://www.pingcap.com/blog/tidb-passes-jepsen-test-for-snapshot-isolation-and-single-key-linearizability/

大规模场景的稳定性

对于3.0版本,我们通过以下方式改进了TiKV:

  • 优化Raft的心跳机制。通过hibernate区域特性,TiKV现在可以根据区域活动调整心跳频率。这意味着你将看到更少的CPU时间和来自空闲区域的网络流量。
  • 分发垃圾收集。一种新的分布式垃圾收集器显著提高了大规模集群的性能,通过更一致的性能提高了稳定性。
  • 悲观锁定。现在,TiKV可以使用悲观锁定(pessimistic locking)强制执行事务。这意味着你可以在一段时间内对一个值拥有独占所有权,从而防止其他请求修改它。
  • 扩大我们的协处理器。有了许多新的或改进的功能,如向量操作、批处理执行器、RPN函数和窃取工作的线程池模型,我们的协处理器继续进化,加速了越来越强大的查询。
  • 加强操作员友好。通过统一日志格式、向tikv-ctl添加新特性、添加更深入的度量,以及提供基于HTTP的度量,我们赋能操作人员或操作器从TiKV中获得更多信息。这使得TiKV更容易操作、检查和监控。
  • 完善请求类型。虽然TiKV以前支持BatchGet等命令,但3.0带来了一个新的BatchCommands请求类型。这使得TiKV能够处理不同类型的批量请求(例如Get和Put),从而减少传输数据量,提高性能。我们还增加了对原始反向扫描的支持,并提供预写时Insert语义。
  • 减少写放大。受WiscKey 伟大思想的启发,我们实现了Titan,这是一个key-value插件,它可以提高值大于1KB的场景的写性能,并在一定程度上缓解写放大。 https://www.usenix.org/system/files/conference/fast16/fast16-papers-lu.pdf

你可以在changelog中详细地看到所有更改。

https://github.com/tikv/tikv/blob/release-3.0/CHANGELOG.md

提升的性能

使用go-ycsb,我们将TiKV 3.0.0与TiKV 2.1.14进行了基准测试。我们测试了一个由3个TiKV节点、1个PD节点和1个运行YCSB的节点组成的集群。我们使用DigitalOcean s-8vcpu-32gb大小的机器,你可以在这里使用完全自动化的terraform脚本为自己复制基准。

https://github.com/pingcap/go-ycsb

https://github.com/tikv/terraform-tikv-bench

我们使用的YCSB设置为:

  • 1KB的价值大小
  • 100字段长度
  • 10场数
  • 3000线程计数(每个节点,所以总数为9000)

我们很自豪的说,这些结果表明,TiKV 3.0.0是目前最快的TiKV!

大感谢

我们特别要感谢我们的贡献者,他们帮助我们发布了这个版本。无论你是一位经验的贡献者,还是我们欢迎的众多新人之一,谢谢

https://github.com/tikv/tikv/graphs/contributors

还不是贡献者?如果你想参与TiKV的开发,并帮助推动TiKV的未来,请告诉我们。

https://github.com/tikv/tikv/issues

点击文末<<阅读原文>>进入网页了解更多。

本文参与 腾讯云自媒体同步曝光计划,分享自微信公众号。
原始发表:2019-07-19,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 CNCF 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档