Vitess是用于部署，扩展和管理MySQL实例的大型群集的数据库解决方案。它在架构上可以像在专用硬件上一样有效地在公共或私有云架构中运行。它结合了NoSQL数据库的可伸缩性，并扩展了许多重要的MySQL功能。Vitess可以帮助您解决以下问题:
MyCat 是什么？从定义和分类来看，它是一个开源的分布式数据库系统，前端的用户可以把它看成一个数据库代理，用 MySql 客户端和命令行工具都可以访问，而其后端则是用MySql 原生的协议与多个 MySql 服务之间进行通信。MyCat 的核心功能是分库分表，即将一个大表水平切分成 N 个小表，然后存放在后端的 MySql 数据当中。
链接：https://pan.baidu.com/s/1sEJTknmrQ4ldydPu-m4U6g 提取码：8ccf\
在上一个内容中,我们讨论了关于MYSQL INSTANCE 针对大量数据的对策，以及基本的策略，
Vitess，作为海外最为知名的分库分表产品，一直以来在国内声音不多。近期抽空了解下这个产品，特分享出来。本文部分内容取自Vitess官网https://vitess.io。
rpm -ivh MySQL-server-5.5.49-1.linux2.6.i386.rpm
Mycat 自身提供了一套基准性能测试工具，这套工具可以用于性能测试、疲劳测试等，包括分片表插入性能测试、分片表查询性能测试、更新性能测试、全局表插入性能测试等基准测试工具。
Mycat 是什么？从定义和分类来看，它是一个开源的分布式数据库系统，是一个实现了 MySQL 协议的的Server，前端用户可以把它看作是一个数据库代理，用 MySQL 客户端工具和命令行访问，而其后端可以用MySQL 原生（Native）协议与多个 MySQL 服务器通信，也可以用 JDBC 协议与大多数主流数据库服务器通信，其核心功能是分表分库，即将一个大表水平分割为 N 个小表，存储在后端 MySQL 服务器里或者其他数据库里。
在当今互联网时代，数据是无价之宝。为了更高效地存储和管理数据，数据库成为了重要的组成部分。MySQL和MongoDB都是常用的数据库，但MongoDB比MySQL更为高效，这是为什么呢？
Mycat概述 功能介绍 Mycat是什么？从定义和分类来看，它是一个开源的分布式数据库系统，是一个实现了MySQL协议的的Server，前端用户可以把 它看作是一个数据库代理，用MySQL客户端工具和命令行访问，而其后端可以用MySQL原生（Native）协议与多个MySQL服务 器通信，也可以用JDBC协议与大多数主流数据库服务器通信，其核心功能是分表分库，即将一个大表水平分割为N个小表，存储 在后端MySQL服务器里或者其他数据库里。 Mycat发展到目前的版本，已经不是一个单纯的MySQL代理了，它的后端可以支持MySQL、SQL Server、Oracle、DB2、 PostgreSQL等主流数据库，也支持MongoDB这种新型NoSQL方式的存储，未来还会支持更多类型的存储。而在最终用户看 来，无论是那种存储方式，在Mycat里，都是一个传统的数据库表，支持标准的SQL语句进行数据的操作，这样一来，对前端业 务系统来说，可以大幅降低开发难度，提升开发速度，在测试阶段，可以将一个表定义为任何一种Mycat支持的存储方式，比如 MySQL的MyASIM表、内存表、或者MongoDB、LevelDB以及号称是世界上最快的内存数据库MemSQL上。试想一下，用户表 存放在MemSQL上，大量读频率远超过写频率的数据如订单的快照数据存放于InnoDB中，一些日志数据存放于MongoDB中， 而且还能把Oracle的表跟MySQL的表做关联查询，你是否有一种不能呼吸的感觉？而未来，还能通过Mycat自动将一些计算分析 后的数据灌入到Hadoop中，并能用Mycat+Storm/Spark Stream引擎做大规模数据分析，看到这里，你大概明白了，Mycat是 什么？Mycat就是BigSQL，Big Data On SQL Database。 对于DBA来说，可以这么理解Mycat： Mycat就是MySQL Server，而Mycat后面连接的MySQL Server，就好象是MySQL的存储引擎,如InnoDB，MyISAM等，因 此，Mycat本身并不存储数据，数据是在后端的MySQL上存储的，因此数据可靠性以及事务等都是MySQL保证的，简单的 说，Mycat就是MySQL最佳伴侣，它在一定程度上让MySQL拥有了能跟Oracle PK的能力。 对于软件工程师来说，可以这么理解Mycat： Mycat就是一个近似等于MySQL的数据库服务器，你可以用连接MySQL的方式去连接Mycat（除了端口不同，默认的Mycat端 口是8066而非MySQL的3306，因此需要在连接字符串上增加端口信息），大多数情况下，可以用你熟悉的对象映射框架使用 Mycat，但建议对于分片表，尽量使用基础的SQL语句，因为这样能达到最佳性能，特别是几千万甚至几百亿条记录的情况下。 对于架构师来说，可以这么理解Mycat： Mycat是一个强大的数据库中间件，不仅仅可以用作读写分离、以及分表分库、容灾备份，而且可以用于多租户应用开发、云平 台基础设施、让你的架构具备很强的适应性和灵活性，借助于即将发布的Mycat智能优化模块，系统的数据访问瓶颈和热点一目 了然，根据这些统计分析数据，你可以自动或手工调整后端存储，将不同的表映射到不同存储引擎上，而整个应用的代码一行也 不用改变。 当前是个大数据的时代，但究竟怎样规模的数据适合数据库系统呢？对此，国外有一个数据库领域的权威人士说了一个结论：千 亿以下的数据规模仍然是数据库领域的专长，而Hadoop等这种系统，更适合的是千亿以上的规模。所以，Mycat适合1000亿条 以下的单表规模，如果你的数据超过了这个规模，请投靠Mycat Plus吧！ Mycat原理 Mycat的原理并不复杂，复杂的是代码，如果代码也不复杂，那么早就成为一个传说了。 Mycat的原理中最重要的一个动词是“拦截”，它拦截了用户发送过来的SQL语句，首先对SQL语句做了一些特定的分析：如分 片分析、路由分析、读写分离分析、缓存分析等，然后将此SQL发往后端的真实数据库，并将返回的结果做适当的处理，最终再 返回给用户。 上述图片里，Orders表被分为三个分片datanode（简称dn)，这三个分片是分布在两台MySQL Server上(DataHost)，即 datanode=database@datahost方式，因此你可以用一台到N台服务器来分片，分片规则为（sharding rule)典型的字符串枚举 分片规则，一个规则的定义是分片字段（sharding column)+分片函数(rule function)，这里的分片字段为prov而分片函数为字 符串枚举方式。 当Mycat收到一个SQL时，会先解析这个SQL，查找涉及到的表，然后看此表的定义，如果有分片规则，则获取到SQL里分片字 段的值，并匹配分片函数，得到该
本文是《分库分表ShardingSphere5.x原理与实战》系列的第三篇文章，本文将为您介绍 ShardingSphere 的一些基础特性和架构组成，以及在 Springboot 环境下通过 JAVA编码 和 Yml配置 两种方式快速实现分库分表。
Mycat的原理中最重要的一个动词是“拦截”，它拦截了用户发送过来的SQL语句，首先对SQL语句做了一些特定的分析：如分片分析、路由分析、读写分离分析、缓存分析等， 然后将此SQL发往后端的真实数据库，并将返回的结果做适当的处理，最终再返回给用户。 如下图: 上述图片里，Orders表被分为三个分片datanode（简称dn)，这三个分片是分布在两台MySQL Server上(DataHost)，即datanode=database@datahost方式， 因此你可以用一台到N台服务器来分片，分片规则为（sharding rule)典型的字符串枚举分片规则，一个规则的定义是分片字段（sharding column)+分片函数(rule function)， 这里的分片字段为prov而分片函数为字符串枚举方式。 当Mycat收到一个SQL时，会先解析这个SQL，查找涉及到的表，然后看此表的定义，如果有分片规则，则获取到SQL里分片字段的值，并匹配分片函数，得到该SQL对应的分片列表，
随着微服务这种架构的兴起，我们应用从一个完整的大的应用，切分为很多可以独立提供服务的小应用。每个应用都有独立的数据库。
MyCAT的目标是：低成本的将现有的单机数据库和应用平滑迁移到“云”端，解决数据存储和业务规模迅速增长情况下的数据瓶颈问题。
一、概述 MySQL Fabric这一新的架构为MySQL提供了高可用和向外扩展的特性。本实验专注于使用Fabric对多个MySQL服务器进行读写实现向外扩展。当单个MySQL服务器（或HA组）的写性能达到极限时，可以使用Fabric把数据分布到多个MySQL服务器组。注意这里说的组可以是单一服务器，也可以是HA组。管理员通过建立一个分片映射定义数据如何在多个服务中分片。一个分片映射作用于一个或多个表，由管理员指定每个表上的哪些列作为分片键，MySQL Fabric使用分片键计算一个表的特定行应该存在于哪个分片上。当多个表使用相同的映射和分片键时，这些表上包含相同列值（用于分片的列）的数据行将存在于同一个分片。单一事务可以访问一个分片中的所有数据。目前Fabric提供两种用分片键计算分片号的方法： HASH：在分片键上执行一个哈希函数生成分片号。如果作为分片键的列只有很少的重复值，那么哈希函数的结果会平均分布在多个分片上。 RANGE：管理员显式定义分片键的取值范围和分片之间的映射关系。这可以尽可能让用户控制数据分片，并确定哪一行被分配到哪一个分片。 应用程序访问分片的数据库时，它设置一个连接属性指定分片键。Fabric连接器会应用正确的范围或哈希映射，并将事务路由到正确的分片。当需要更多的分片时，MySQL Fabric可以把现有的一个分片分成两个，同时修改状态存储和连接器中缓存的路由数据。类似地，一个分片可以从一个HA组迁移到另一个。 注意单一的事务或查询只能访问一个单一的分片，所以基于对数据的理解和应用的访问模式选择一个分片键是非常重要的。并不是对所有表分片都有意义。对于当前不能交叉分片查询的限制，将某些小表的全部数据存储到每一个组中可能会更好。这些全局表被写入到‘全局组’，表中数据的任何改变都会自动复制到所有其它非全局组中。全局组中模式（结构）的改变也会复制到其它非全局组中以保证一致性。为了得到做好的映射，在没有‘自然选择’的分片键时可能需要修改模式。 二、安装与配置
系统开发中，数据库是非常重要的一个点。除了程序的本身的优化，如：SQL语句优化、代码优化，数据库的处理本身优化也是非常重要的。主从、热备、分表分库等都是系统发展迟早会遇到的技术问题问题。Mycat是一个广受好评的数据库中间件，已经在很多产品上进行使用了。下面就针对Mycat的基础知识和应用做一总结性梳理，这些内容有的是从网上收集的，有的是自己做的测试验证信息，如有错误，烦请谅解和指出！
为什么使用MyCat 如今随着互联网的发展，数据的量级也是撑指数的增长，从GB到TB到PB。对数据的各种 操作也是愈加的困难，传统的关系性数据库已经无法满足快速查询与插入数据的需求。这个时候NoSQL的出现 暂时解决了这一危机。它通过降低数据的安全性，减少对事务的支持，减少对复杂查询的支持，来获取性能上 的提升。但是，在有些场合NoSQL一些折衷是无法满足使用场景的，就比如有些使用场景是绝对要有事务与安 全指标的。这个时候NoSQL肯定是无法满足的，所以还是需要使用关系性数据库。如何使用关系型数据库解决 海量存储的问题呢？此时就需要做数据库集群，为了提高查询性能将一个数据库的数据分散到不同的数据库中 存储，为应对此问题就出现了——MyCat
一边有一个经常引诱我让我“娱乐至死”的视频，还有一个不停“鞭策“我让我快点学习的大BOSS。正是有这两种极端的爱才让我常常在自信中明白自己努力的方向。嗯,"人间不值得"！
1原主库ssh能连接，截取缺失部分日志scp到各个从库(/var/tmp/xxxx)调用save_binary_logs
如果将应用的所有数据简单地放在一台 MySQL 服务器实例上，就不用谈什么扩展性了。但是业务能稳定持续的增长，那么应用肯定会碰到性能瓶颈。
在查询计数已成为问题的情况下，它们在另一个表中构建了计数，以便它们可以直接读取计数值而非计算计数。
一个真实的业务系统中，往往存在大量的类似字典表的数据表，它们与业务表之间可能有关系，这种关系，可以理解为“标签”，而不应理解为通常的 “主从关系”，这些表基本上很少变动，可以根据主键 ID进行缓存，下面这张图说明了一个典型的“标签关系”图： image.png 1、全局表描述 在分片的情况下，当业务表因为规模而进行分片以后，业务表与这些附属的字典表之间的关联，就成了比较棘手的问题，考虑到字典表具有以下几个特性： • 变动不频繁 • 数据量总体变化不大 • 数据规模不大，很少有超过
https://shardingsphere.apache.org/document/5.1.1/cn/features/sharding/concept/inline-expression/
表被水平切分后，每个分片表所在的数据库就是一个分片节点。一个分片节点对应一个数据库（mysql数据库）。一个分片节点只能保存每个分片表的一个分片，因为db中不允许出现同名的表。 例如：
后端：可以用MySQL原生协议与多个MySQL服务器通信，也可以用JDBC协议与大多数主流数据库服务器通信，其核心功能是分表分库，即将一个大表水平分割为N个小表，存储在后端MySQL服务器里或者其他数据库里
线上某IOT核心业务集群之前采用MySQL作为主存储数据库，随着业务规模的不断增加，MySQL已无法满足海量数据存储需求，业务面临着容量痛点、成本痛点问题、数据不均衡问题等。
Mycat是一个开源的分布式数据库系统，是一个实现了MySQL协议的的Server，前端用户可以把它看作是一个数据库代理，用MySQL客户端工具和命令行访问，而其后端可以用MySQL原生（Native）协议与多个MySQL服务器通信，也可以用JDBC协议与大多数主流数据库服务器通信，其核心功能是分表分库，即将一个大表水平分割为N个小表，存储在后端MySQL服务器里或者其他数据库里；
Elasticsearch（ES） 是一个基于 Apache Lucene 开源的分布式、高扩展、近实时的搜索引擎，主要用于海量数据快速存储，实时检索，高效分析的场景。通过简单易用的 RESTful API，隐藏 Lucene 的复杂性，让全文搜索变得简单。
Vitess自2011年以来一直为YouTube的所有数据库流量提供服务，目前已被许多企业采用，以满足其生产需求。
今天，终于安排到Mycat系列文章了。在Mycat系列文章中，我们一起从一个利用Mycat实现分库分表的案例作为入门程序。后续会持续更新Mycat原理、架构和底层源码解析的文章。希望Mycat系列文章能够帮助小伙伴们彻底掌握Mycat。
接上篇，上篇主要是从字段类型，索引，SQL语句，参数配置，缓存等介绍了关于MySQL的优化，下面从表的设计，分库，分片，中间件，NoSQL等提供更多关于MySQL的优化。
水平分表是在同一个数据库内，把同一个表的数据按照一定的规则拆到多个表中。前面以及介绍过来，这里不再重复介绍。
对于电商系统来说，商品搜索是其核心功能之一，如何能保证在海量的数据中，能低延时的搜索到关心的商品信息直接影响到用户的使用体验，在商品搜索中，如根据用户画像定向的做推荐，或是基于位置信息如美团O2O类搜索，这些个性化搜索是关系型数据库无法完成的，这时候搜索引擎ElasticSearch+Redis就能发挥关键作用。
答: • 支持 SQL 92 标准； • 支持 Mysql 集群，可以作为 Proxy 使用； • 支持 JDBC 连接多数据库； • 支持 NoSQL 数据库； • 支持 galera for mysql 集群，percona-cluster 或者 mariadb cluster，提供高可用性数据分片集群； • 自动故障切换，高可用性； • 支持读写分离，支持 Mysql 双主多从，以及一主多从的模式； • 支持全局表，数据自动分片到多个节点，用于高效表关联查询； • 支持独有的基于 E-R 关系的分片策略，实现了高效的表关联查询； • 支持一致性 Hash 分片，有效解决分片扩容难题； • 多平台支持，部署和实施简单； • 支持 Catelet 开发，类似数据库存储过程，用于跨分片复杂 SQL 的人工智能编码实现，143 行 Demo 完成跨分片的两个表的 JION 查询； • 支持 NIO 与 AIO 两种网络通信机制，Windows 下建议 AIO，Linux 下目前建议 NIO； • 支持 Mysql 存储过程调用； • 以插件方式支持 SQL 拦截和改写； • 支持自增长主键、支持 Oracle 的 Sequence 机制。
资料：目前假如一个查询SQL跨越30个分片，每个分片上有1000万数据，则总数据规模为3亿，Select × from A orderby field1,field2 Limit 100000,100 即取出排序结果集中从100000到100000+100的这100个记录，所可能采用的一些算法优化策略如下：
近期正在探索前端、后端、系统端各类常用组件与工具，对其一些常见的组件进行再次整理一下，形成标准化组件专题，后续该专题将包含各类语言中的一些常用组件。欢迎大家进行持续关注。
在传统的中小公司里面，尤其是以企业内部的办公系统、REP系统，或者体量不是很大的互联网公司里面，搭建一套单库和单表足以应对生产的业务数据量了。而在一些互联网大公司里面，单表每天有上100w的数据业务增量时，就要考虑分库分表的策略了。否则，无论是数据的存储、访问、更新等操作，单库和单表都会影响系统和数据库的性能。
原文：https://segmentfault.com/a/1190000019460946
6月6日晚，林志玲与Akira公布婚讯、徐蔡坤祝福高考同学超常发挥，粉丝们百万的转发和点赞造成微博短暂宕机。
文章集中整理总结mysql分库分表开源产品，分布式数据库的设计，以及实际应用案例等相关内容，部分附上本文作者实际应用过程中的理解。
杨亚洲，前滴滴出行专家工程师，现任OPPO文档数据库MongoDB负责人，负责数万亿级数据量文档数据库MongoDB内核研发、性能优化及运维工作，一直专注于分布式缓存、高性能服务端、数据库、中间件等相关研发。后续持续分享《MongoDB内核源码设计、性能优化、最佳运维实践》。
除非单表数据未来会一直不断上涨，否则不要一开始就考虑拆分，拆分会带来逻辑、部署、运维的各种复杂度，一般以整型值为主的表在千万级以下，字符串为主的表在五百万以下是没有太大问题的。而事实上很多时候MySQL单表的性能依然有不少优化空间，甚至能正常支撑千万级以上的数据量：
分布式数据库和分布式存储是分布式系统中难度最大、挑战最大，也是最容易出问题的地方。互联网公司只有解决分布式数据存储的问题，才能支撑更多次亿级用户的涌入。
原文链接：http://www.itpub.net/2019/06/28/2306/
主要目的是实现数据库读写分离，写操作访问主数据库，读操作访问从数据库，从而使数据库具有更强大的访问负载能力，支撑更多的用户访问。
我们平时做项目开发。一开始，通常都先用一张数据表，而一般来说数据表写到2kw条数据之后，底层B+树的层级结构就可能会变高，不同层级的数据页一般都放在磁盘里不同的地方，换言之，磁盘IO就会增多，带来的便是查询性能变差。如果对上面这句话有疑惑的话，可以去看下我之前写的文章。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
