专栏首页有点技术云原生数据库vitess简介

云原生数据库vitess简介

vitess

简介

Vitess是用于部署,扩展和管理MySQL实例的大型群集的数据库解决方案。它在架构上可以像在专用硬件上一样有效地在公共或私有云架构中运行。它结合了NoSQL数据库的可伸缩性,并扩展了许多重要的MySQL功能。Vitess可以帮助您解决以下问题:

  • 允许您对MySQL数据库通过分片来进行扩展规模,同时将应用变更降至最低。
  • 从裸机迁移到私有云或公共云。
  • 部署和管理大量MySQL实例。

Vitess包括使用本机查询协议的兼容JDBC和Go数据库驱动程序。另外,它实现了MySQL Server协议,该协议实际上与任何其他语言兼容。

自2011年以来,Vitess一直在为所有YouTube数据库流量的服务,如今已被许多企业采用以满足其生产需求。

功能

  • 性能
    • 连接池 - 将前端应用程序查询复用到MySQL连接池中以优化性能。
    • 查询去重 – 对于在运行中查询仍在执行时收到的所有相同请求,请对运行中查询的结果重新使用。
    • 事务管理器 – 限制并发事务的数量并管理截止日期以优化整体吞吐量。
  • 保护
    • 查询重写和清理 – 添加限制并避免不确定的更新。
    • 查询黑名单 – 自定义规则以防止可能有问题的查询进入您的数据库。
    • 查询killer – 终止花费很长时间才能返回数据的查询。
    • 表级ACL – 根据所连接的用户为表指定访问控制列表(ACL)。
  • 监控方式
    • 性能分析工具使您可以监视,诊断和分析数据库性能。
  • 拓扑管理工具
    • master管理工具(句柄修复)
    • 基于Web的管理GUI
    • 设计用于多个数据中心/区域
  • 分片
    • 几乎无缝的动态重新分片
    • 垂直和水平分片支持
    • 多种分片方案,可以插入自定义方案

与其他存储选择的对比

Vitess vs. Vanilla MySQL

Vanilla MySQL

Vitess

每个 MySql 连接都有一个内存开销,其范围介于 256KB 到几乎 3MB 之间,这取决于你所使用的 MySql 版本。随着你的用户群的增长,你需要增加内存以支撑增加的那些连接,但增加内存无助于提高查询速度。此外,在获取这些连接的时候还有大量的 CPU 开销。Vitess 基于 BSON 的协议创建非常轻量级仅约 32KB 的连接。Vitess 的连接池功能使用了 Go 语言的卓越的并发支持将这些轻量级的连接映射到一个小型的 MySql 连接池。因此,Vitess 可以很容易地同时处理数千个连接

每个 MySql 连接都有一个内存开销,其范围介于 256KB 到几乎 3MB 之间,这取决于你所使用的 MySql 版本。随着你的用户群的增长,你需要增加内存以支撑增加的那些连接,但增加内存无助于提高查询速度。此外,在获取这些连接的时候还有大量的 CPU 开销。Vitess 基于 BSON 的协议创建非常轻量级仅约 32KB 的连接。Vitess 的连接池功能使用了 Go 语言的卓越的并发支持将这些轻量级的连接映射到一个小型的 MySql 连接池。因此,Vitess 可以很容易地同时处理数千个连接。

低效的写查询,比如一些没有设置一个限制的写查询,将会对所有用户的数据库性能产生负面影响

Vitess 所用的 SQL 解析器使用了一组可配置的规则对可能会降低数据库性能的查询进行重写。

分片是一个对你的数据进行分区来提高可扩展性和性能的过程。MySql 不支持分片,要求你自己去编写分片代码并在你自己的应用程序中嵌入分片逻辑

Vitess 使用基于范围的分片。它同时支持水平和垂直的重新切分,完成大多数数据的转换只需要仅仅几秒钟的只读的停机时间。Vitess 甚至可以适应你现有的一个自定义分片方案。

MySql 集群为保证可用性采用的是主从复制,有一个主数据库和几个副本数据库。主库宕机,某台从库将成为新的主库。这个要求你去管理数据库的生命周期并将当前的系统状态传达给你自己的应用程序。

Vitess 帮你管理数据库的生命周期。它支持并自动应对各种场景,包括主库故障转移以及数据备份。

MySQL群集可以具有针对不同工作负载的自定义数据库配置,例如用于写入的主数据库,用于Web客户端的快速只读副本,用于批处理作业的较慢只读副本等等。如果数据库具有水平分片,则将对每个分片重复进行设置,并且应用程序需要内置逻辑才能知道如何查找正确的数据库

Vitess 使用一个数据存储一致性的拓扑支持,比如 etcd 或者 ZooKeeper。这也就意味着集群视图始终是最新的而且对于不同的客户端也能始终保证其一致性。Vitess 还提供了一个高效地将查询路由给最适合的 MySql 实例的代理。

Vitess vs. NoSQL

NoSQL

Vitess

NoSQL 数据库不定义数据库表之间的关系,并且仅支持 SQL 语言的一个子集

Vitess 并不是一个简单的键值存储。它支持复杂的查询语句,比如 where 子句、联接查询、聚集功能等等。

NoSQL 数据库不支持事务 | Vitess 支持单个分片内的事务。Vitess 团队也正在探索使用两阶段提交支持跨分片事务的可行性。

NoSQL 解决方案拥有定制的 API,这将导致定制的架构、应用程序和工具 | Vitess 仅添加了极小的变化到 MySql,一个绝大多数的人们都已经习惯使用的数据库。

相比 MySql 来讲,NoSQL 提供的数据库索引支持是有限的 | Vitess 允许你使用 MySql 的所有索引功能来优化查询性能。

架构

Vitess平台由许多服务器进程,命令行实用程序和基于Web的实用程序组成,并由一致的元数据存储提供支持。

根据您应用程序的当前状态,您可以通过许多不同的流程来实现完整的Vitess实现。例如,如果要从头开始构建服务,那么使用Vitess的第一步就是定义数据库拓扑。但是,如果需要扩展现有数据库,则可能首先要部署连接代理。

Vitess工具和服务器旨在为您提供帮助,无论您是从完整的数据库团队开始,还是从小规模扩展到随时间扩展。对于较小的实现,vttablet功能(例如连接池和查询重写)可帮助您从现有硬件中获得更多收益。然后,Vitess的自动化工具为大型实施提供了更多好处。

下图说明了Vitess的组件:

概念

cell

是一组服务器和网络基础设施中并置的区域,并且和其他cell故障隔离 它通常是完整的数据中心或数据中心的子集,有时称为区域或可用性区域。Vitess可以优雅地处理cell级别的故障,例如当cell被切断网络时。

Vitess实现中的每个cell都有一个本地拓扑服务,该服务托管在该cell中。拓扑服务在其单元格中包含有关Vitess数位板的大多数信息。这使cell可以拆卸并重建为一个单元。

Vitess限制了数据和元数据的跨cell流量。虽然也可以将读取流量路由到各个单元可能有用,但Vites当前仅服务于本地cell的读取。必要时,写入将跨cell到达该分片的主文件所在的位置。

keyspace

一个keyspace是一个逻辑数据库。如果您使用分片,则keyspace将映射到多个MySQL数据库。如果您不使用分片,则keyspace将直接映射到MySQL数据库名称。无论哪种情况,从应用程序的角度来看,keyspace都显示为单个数据库。

从keyspace读取数据就像从MySQL数据库读取数据一样。但是,根据读取操作的一致性要求,Vitess可能会从主数据库或副本中获取数据。通过将每个查询路由到适当的数据库,Vitess允许将代码构造为好像从单个MySQL数据库读取一样。

Keyspace Graph

通过keyspace graph,Vitess可以决定对于给定的keyspace,cell,tablet使用哪一组分片。

Keyspace id

密钥空间ID是用确定给定行在哪个分片上

Replication Graph

Replication Graph标识了主数据库及其各自的副本之间的关系。在主服务器故障转移期间,Replication Graph使Vitess可以将所有现有副本指向新指定的主数据库,以便复制可以继续

shard

keyspace是Keyspace的拆分,一个分片通常包含一个MySQL主服务器和许多MySQL从服务器。分片中的每个MySQL实例都具有相同的数据,从节点可以为只读流量提供服务,执行长时间的数据分析或管理任务

  • 重新分片

Vitess支持动态重新分片,其中动态群集上的分片数量可以更改。这可以将一个或多个碎片分成较小的碎片,也可以将相邻的碎片合并成较大的碎片。在动态重新分片期间,源分片中的数据将被复制到目标分片中,以跟上复制的步伐,然后与原始分片进行比较以确保数据完整性。然后,将实时服务基础结构转移到目标分片,并删除源分片。

Tablet

Tablet是 mysqld和vttablet的组合通常运行在同一服务器,每个Tablet都被分配一个Tablet 类型,用于指定其当前的执行角色

类型:

  • master - 一个Tablet 副本,目前正好是其分片的MySQL master。
  • replica - 一个MySQL slave,有资格晋升为master。通常,这些保留用于服务实时的,面向用户的请求(例如从网站的前端)。
  • rdonly - 无法升级为master的 MySQL slave 。通常,它们用于后台处理作业,例如进行备份,将数据转储到其他系统, 繁重的分析查询,MapReduce和重新分片。
  • backup - Tablet已在一致的快照处停止了复制,因此可以为其分片上载新的备份。完成后,它将恢复复制并返回其先前的类型。
  • restore -一种Tablet,没有数据启动,并且正在从最新的备份中恢复自身。完成后,它将在备份的GTID位置开始复制,并成为副本或rdonly。
  • drained -由Vitess后台进程保留的数位板(例如用于重新分片的rdonly数位板)。

Topology Service(也称为TOPO或锁定服务)

该拓扑服务是一组不同的服务器上运行的后端进程。这些服务器存储拓扑数据并提供分布式锁定服务。Vites使用一个插件系统来支持各种后端来存储拓扑数据,这些后端被假定提供了分布式的,一致的键值存储。默认情况下,我们的本地示例使用ZooKeeper插件,而Kubernetes示例使用etcd。

存在拓扑服务的原因有几个:

  • 它使tablets之间可以作为一个群集进行协调。
  • 它使Vitess能够发现数位板,因此知道将查询路由到何处。
  • 它存储数据库管理员提供的Vitess配置,集群中许多不同服务器都需要该配置,并且在服务器重新启动之间必须保持这种配置。
  • 一个Vitess群集在每个tablets中都有一个全局拓扑服务和一个本地拓扑服务。由于cluster是一个重载术语,并且一个Vitess集群通过每个集群都有其自己的全局拓扑服务这一事实而与另一个集群有所区别,因此我们将每个Vitess集群称为对流层。

全局拓扑

全局拓扑服务存储不经常更改的Vites范围的数据。具体来说,它包含有关键空间和分片以及每个分片的主tablets别名的数据。

全局拓扑用于某些操作,包括重定亲和重新分片。通过设计,全局拓扑服务使用不多。

为了终止任何残存的cell,全局拓扑服务应在多个cell中具有节点,并具有足够的数量以在发生cell故障时维持仲裁。

局部拓扑

每个本地拓扑都包含与其自己的celll有关的信息。具体来说,它包含有关cell中的tablets的数据,该cell的键空间图以及该单元格的复制图。

Vitess必须可以使用本地拓扑服务来发现数位板并在数位板进出时调整路由。但是,在稳定状态下为查询提供服务的关键路径中,没有对拓扑服务进行任何调用。这意味着在拓扑暂时不可用期间仍可提供查询。

vschema

一个VSchema允许您描述数据是如何被keyspaces和shard组织。此信息用于路由查询,以及在重新分片操作期间。

VSTREAM

VStream是位于VTGate上的变更通知系统。可以将VStream视为自定义为在Vitess中使用的UpdateStream。与更新流一样,VTTablets可以订阅VStream来接收事件。VStream可以从VStreamer中提取事件,后者又从Binlog中提取事件。这将允许高效执行VReplication之类的过程,在此过程中,订户可以间接从binlog接收和应用事件。用户可以将过滤规则应用于VStream,以获取有关引擎盖下给定键空间,分片和位置发生的情况的深入信息。

VTGate

VTGate是一种轻量级的代理服务器,可将流量路由到正确的VTTablet服务器,并将合并结果返回给客户端。它说MySQL协议和Vitess gRPC协议。因此,您的应用程序可以连接到VTGate,就像它是MySQL Server一样。

在将查询路由到适当的VTTablet服务器时,VTGate会考虑分片方案,所需的延迟以及表及其底层MySQL实例的可用性。

vtctl

vtctl是用于管理Vitess群集的命令行工具。它允许人员或应用程序轻松地与Vitess实现交互。使用vtctl,您可以标识主数据库和副本数据库,创建表,启动故障转移,执行分片(和重新分片)操作,等等。

当vtctl执行操作时,它会根据需要更新锁服务器。其他Vitess服务器会观察到这些更改并做出相应的反应。例如,如果您使用vtctl故障转移到新的master数据库,则vtgate会看到更改并将将来的写操作定向到新的master。

vtctld

vtctld是一个HTTP服务器,使您可以浏览存储在锁服务器中的信息。这对于故障排除或获取服务器及其当前状态的高级概述很有用。

vtworker

vtworker承载长时间运行的进程。它支持插件架构并提供库,因此您可以轻松选择要使用的平板电脑。插件可用于以下类型的作业:

重新分片不同的作业会在分片拆分和联接期间检查数据完整性 垂直拆分不同作业在垂直拆分和联接期间检查数据完整性 vtworker还可让您轻松添加其他验证过程。例如,如果一个键空间中的索引表引用了另一个键空间中的数据, 则可以执行片剂内部完整性检查以验证类似外键的关系或跨表完整性检查

总结

vitess是一个基于MySQL的云原生数据库,自身屏蔽了分库分表的复杂性,使应用能够直接使用无需特殊配置,与原生MySQL高度兼容,目前已经从CNCF毕业,相信以后会有更多的用户使用vitess.

本文分享自微信公众号 - 有点技术(havetech),作者:rocdu

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2019-11-12

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • tekton入门-trigger

    trigger使用户能够将事件有效负载中的字段映射到资源模板中。换句话说,这允许事件既可以建模也可以将实例化为Kubernetes资源。对于tektoncd/p...

    有点技术
  • 容器中的ulimit

    使用的是公有云,最近要对k8s版本进行升级,在升级之后发发现从我们的web terminal 进入到容器, 拥有sudo权限的用户无法进行sudo命令,即使使用...

    有点技术
  • 使用​xds-relay实现xds数据的低延迟分发

    xds-relay是面向xDS兼容客户端和服务器的轻量级缓存,聚合和低延迟分发层。在生产环境中下发envoy策略需要传输大量数据,xds-relay通过在一个开...

    有点技术
  • 只有天才才能做数学吗?

    大数据文摘
  • 微信公众号信息抓取方法(一)——抓取公众号历史消息列表数据

    研究微信抓取之前, 看过知乎有大神写的比较完善的例子, 受到启发, 才完成了整个微信公众号的抓取。 微信公众号内容的批量采集与应用 微信抓取的难点: 1. 无法...

    aox.lei
  • 动态 | 谷歌发布机器学习规则 关于机器学习工程的最佳实践(下)

    文章介绍了一种机器学习样式,类似于 Google C++ 样式指南和其他常用的实用编程指南。

    AI科技评论
  • 滴滴融资更像是一场自我革命

    孟永辉
  • gobbli统一模型库帮你快速上手文本分类,内置BERT、fastText等

    近年来,迁移学习在自然语言处理领域取得了很大的进展,许多通用语言任务都可以被新提出的模型解决。然而,各种各样的语言模型层出不穷,它们由不同的团队开发,应用这些模...

    机器之心
  • leetcode 10 Regular Expression Matching

    @坤的
  • 习题 4:变量和命名

    你已经学会了 print 和算术运算。下一步你要学的是“变量”。在编程中,变量只不过是用来指代某个东西的名字。程序员通过使用变量名可以让他们的程序读起来更像英语...

    hankleo

扫码关注云+社区

领取腾讯云代金券