TiDB测试小结

最近调研了下TiDB,总体对这门基于关系型的分布式方案做了一些相对全面的测试。

首先对我来说,我觉得能够开发数据库,而且能够有很深的技术情结,真是一件很cool的事情,我比较欣赏极客精神,同时满足了业务,也在技术上的价值得以体现,这种模式值得很多开源项目参考借鉴。

首先,让我感兴趣的不是TiDB的NewSQL角色,而是对TiDB的发展过程,TiDB的架构演进对于理解TiDB技术还是很有帮助的,也对我们的工作和实践具有一定的借鉴。如果让我来总结,我觉得有几个里程碑事件对我的触发较大。

① 设计MySQL分布式存储引擎。

整个项目从2015年4月份开始,初期是写一个MySQL分布式存储引擎,来期望达到分布式的基本需求,但是性能差强人意,同时存储引擎层对优化器层面,事务模型层的支持非常有限,所以初期的架构设计没有达到预期。

② 兼容MySQL协议,自上而下实现

后期的架构设计对标MySQL协议,自上而下重写,完全兼容MySQL协议,实现Server层的基本需求。

TiDB 0.5版本的架构如下:

③ 存储引擎引入HBase

初期的TiDB是没有存储引擎的,数据都是在内存层面,接入HBase,也是一个战略选型,主要是为了初步验证SQL层的实现是否稳定。

④ 使用Rust重写Etcd 里的 Raft

KV存储层使用Rust来实现,主要的难点就是对Etcd的Raft实现使用Rust完全重写,我觉得这是最cool的一件事情了,难度可想而知,但是做成了会发现成就满满。

⑤ 接入RocksDB

RocksDB是一个单机的key-value engine,前身其实是LevelDB,是Google在2011年左右开源的key-value的存储引擎。RocksDB的数据结构是LSM Tree是一个对写非常友好,在机器内存比较大的时候读性能会非常好的数据结构。

技术架构层面,TiDB和Oracle中的RAC其实很像(组件和功能),当然最大的不同就是一个是分布式,弹性扩缩容,另外一个是集成共享式。

我测试的时候使用了如下的部署架构。

测试的过程中,对TP,AP业务做了一些基本的测试和性能压测,对高可用,弹性扩缩容,滚动升级,备份恢复也做了一些基本的覆盖测试。

优点的内容很明显,可以从部署安装感觉到,很多新技术都在大规模使用了。

亮点功能如下:

① 支持多种部署方式(离线部署,在线部署,docker部署)

② 监控部署一体化

③ 快速部署

④ 备份恢复,定制了主流工具mydumper,myloader,

⑤ 增量复制syncer

⑥ 实时备份和恢复的特性 TiDB的binlog方案,和kafka对接

⑦ 承接AP的业务,基于spark

⑧ 弹性扩缩容

⑨ 滚动升级

⑩ 读写混合,单不只局限于密集型写入

11 Tidb重新部署,原有的数据不会删除,如果优惠复用起来

12 故障自动恢复

13 产品定制能力强,定制了将近30个参数,针对TiDB的使用需求

还有一些细节的小错误或者问题,后续和朋友对接集中反馈下。

从我的理解来看,目前的TiDB的业务切入点可以作为对已有的MySQL方案的补充,甚至可以做到透明的集群方案,无论你是采用了PXC,MHA,还是MGR,整个过程都可以通过级联的方式衔接起来。

另外一个切入点应该是大数据部分,目前从我的测试来看,TiDB是乐观锁,对于AP业务的支持其实需求是更大一些,所以能够对接到大数据平台,能够实现一些基本的数据流转甚至数据下沉至大数据,都是一些不错的点。

本文分享自微信公众号 - 杨建荣的学习笔记(jianrong-notes),作者:r15笔记第95天

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2018-04-17

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • Datapump数据迁移前的准备工作(r9笔记第31天)

    其实对于Datapump迁移而言,如果参与过XTTS,OGG,Veritas SF,外部表增量等迁移方式的话,会发现Datapump还是很简单清晰的,一个优点...

    jeanron100
  • MySQL Shell的简单介绍(r12笔记第95天)

    MySQL Shell是在官方版本5.7.12推出,工具的初衷本身都是为了解决一类问题,想必官方从很多方面了解到工具的使用情况,支持的开发语言太多,众口难调...

    jeanron100
  • 引入TiDB方案的一些思考

    在MySQL技术体系建设上,能够实现资源水平扩展,满足现在和未来的基础存储需求是一个基本目标,从中长期来说,基于关系型的数据库分布式方案存在明显瓶颈。

    jeanron100
  • 万亿条数据查询如何做到毫秒级响应?

    知乎,在古典中文中意为“你知道吗?”,它是中国的 Quora,一个问答网站,其中各种问题由用户社区创建,回答,编辑和组织。

    乔戈里
  • 1.3万亿条数据查询如何做到毫秒级响应?

    TiDB 是一个开源的 MySQL 兼容的 NewSQL 混合事务/分析处理( HTAP)数据库,本文深入探讨TiDB如何在大量的数据上保持毫秒级的查询响应时间...

    数据和云
  • 万亿条数据查询如何做到毫秒级响应?

    知乎,在古典中文中意为“你知道吗?”,它是中国的 Quora,一个问答网站,其中各种问题由用户社区创建,回答,编辑和组织。

    芋道源码
  • 万亿条数据查询如何做到毫秒级响应?

    知乎,在古典中文中意为“你知道吗?”,它是中国的 Quora,一个问答网站,其中各种问题由用户社区创建,回答,编辑和组织。

    用户1516716
  • 这些「神秘」团队到底是做什么的?| PingCAP 招聘季

    本篇将带大家速览我司各个研发团队的定位和分工,并回答一个热门问题「在 PingCAP 工作是什么样的体验?」

    PingCAP
  • 【AI 引擎】微信建立人工智能实验室 | Formula E 明年将推出无人驾驶赛车 | Siri 开启分析未知音乐功能

    1.微信携手香港科大建立“人工智能实验室” ? 近日,微信团队与香港科技大学联合成立“微信-香港科技大学人工智能联合实验室”( WeChat-HKUST Joi...

    新智元
  • 世界级的开源项目:TiDB 如何重新定义下一代关系型数据库

    众所周知,在 SQL 方面处于顶级的有两个公司,一个是 Oracle,他们已经积累了大量的经验,另一个是谷歌,谷歌 F1 在2012年发布了一篇论文,个人认为它...

    后端技术探索

扫码关注云+社区

领取腾讯云代金券