大家好，我是架构君，一个会写代码吟诗的架构师。今天说一说MySQL中间件之ProxySQL(10)：读写分离方法论「建议收藏」,希望能够帮助大家进步!!!
和以 MySQL 为代表的传统事务型数据库相比，数据仓库有一个很大的特点，就是主要面向批量写和查询进行优化，可以不支持更新、事务这些高级特性。一些商用的数据仓库分析系统，例如 Vertica，已经可以做到千亿级数据的秒级导入和秒级查询。 神策数据一直致力于帮助企业搭建数据仓库，实现数据的秒级响应，积累数据资产。本文主要通过神策数据在技术上的探索与实践，探讨如何利用现有的开源组件实现分析型数据仓库当中的读写分离。 为什么要进行读写分离 分析性数据仓库一般有如下几个特点： 面临着复杂的多维分析需求，能够进行任意
造成第三条语句执行时间如此长的主要原因就是大量的 OR 语句会导致 SQL 解析非常耗时.
DBLE 是企业级开源分布式中间件，江湖人送外号 “MyCat Plus”；以其简单稳定，持续维护，良好的社区环境和广大的群众基础得到了社区的大力支持；
ProxySQL 是一款可以实际用于生产环境的 MySQL 中间件，它有官方版和 percona 版两种。percona版是在官方版的基础上修改的，添加了几个比较实用的工具。生产环境建议用官方版。
本期配套视频： https://www.bilibili.com/video/BV1BJ411B7mn?p=6 继上周增加【任务调度】以后，继续对项目进行2.0版本升级，其实改动的地方并不多，主要的功
MySQL性能优化策略 1、MySQL内核架构 2、索引原理与查询优化 加速MySQL高效查询数据的数据结构 二分查找（binary search） 二叉树查找（binary tree search） MyISAM引擎和InnoDB使用Balance+Tree作为索引结构 3、内存引擎类型 MyIsam速度快，响应快。表级锁是致命问题 Innodb目前主流存储引擎 1）行级锁 务必注意影响结果集的定义是什么 行级锁会带来更新的额外开销，但是通常情况下是值得的 2）事物提交 对I/O效率提升的考虑
MySQL在达到一定数据量（我的经验是3T、单表1亿）时，复杂查询会有明显的延迟。继续分库分表，会严重增加业务复杂性，尤其对很多非互联网产品来说，急需一个分布式存储。
在高并发的时候，如果所有的数据库操作都只通过一台数据库来操作，那数据库很大程度可能出现宕机，而宕机就有可能导致数据丢失，造成不良后果。所以在并发量高的情况下一般会使用主从同步来实现读写分离。上一篇针对主从同步做了具体的介绍，本篇主要针对读写分离做详细的介绍。
数据库读写分离对于大型系统或者访问量很高的互联网应用来说，是必不可少的一个重要功能。
但是时代在进步，社会在发展，高并发和分布式的概念也越来越火热，单机版的数据库已经不能满足如今的互联网，所以就有了mysql的读写分离和主从复制。
mysql高并发的解决方法有：优化SQL语句，优化数据库字段，加缓存，分区表，读写分离以及垂直拆分，解耦模块，水平切分等。
读写分离，是把数据库的读和写分开操作，以应对不同的数据库服务器。主数据库提供写操作，从数据库提供读操作，这样能有效的减轻单台数据库的压力。
MySQL Fabric具有分片功能，在同一个分片内又可以含有多个数据库，并且由Fabric自动挑选一个适合的作为主数据库，部署成本较高，另外需要应用端来适配改造。
基于MySQL Router可以实现高可用，读写分离，负载均衡之类的，MySQL Router可以说是非常轻量级的一个中间件了。 看了一下MySQL Router的原理，其实并不复杂，原理也并不难理解，其实就是一个类似于VIP的代理功能，其中一个MySQL Router有两个端口号，分别是对读和写的转发。 至于选择哪个端口号，需要在申请连接的时候自定义选择，换句话说就是在生成连接字符串的时候，要指明是读操作还是写操作，然后由MySQL Router转发到具体的服务器上。
读写分离：读写操作，分发不同的服务器，读分发到对应的服务器 （slave），写分发到对应的服务器（master）
为了减轻每台MySQL主机的访问压力，还可以对MySQL进行读写分离，实际上，主从复制和读写分离一般就是联合使用的。
读写分离是让主库处理事务性增删改，而从库处理查操作。数据库复制来把事务性操作的数据变更同步到从库。
Sharding-Proxy是一个分布式数据库中间件，定位为透明化的数据库代理端。作为开发人员可以完全把它当成数据库，而它具体的分片规则在Sharding-Proxy中配置。它的整体架构图如下：
默认情况下，MongoDB 更侧重高数据写入性能，而非事务安全，MongoDB 很适合业务系统中有大量 “低价值” 数据的场景。但是应当避免在高事务安全性的系统中使用 MongoDB，除非能从架构设计上保证事务安全。
1、要将Mycat准备好可以去官网下载 http://www.mycat.org.cn/
举例：一个用户表有很多的属性,关联了很多数据,如果放到同一个表里面的话查询是方便了,但是效率不行。
在以前，数据库的集群配置一直很难，难点在于MySQL主从结构的高可用和读写分离。万幸的是，Galera/GR的出现，让整个集群的配置都极大程度地简化了。
数据库读写分离对于大型系统或者访问量很高的互联网应用来说，是必不可少的一个重要功能；对于MySQL来说，标准的读写分离是主从模式，一个写节点Master后面跟着多个读节点，其中包含两个步骤，其一是数据源的主从同步，其二是sql的读写分发；而Mycat不负责任何数据的同步，具体的数据同步还是依赖Mysql数据库自身的功能。
这段时间团队在梳理mysql使用上的一些痛点（分库分表、读写分离、权限控制、监控告警、日志审计等），也调研了业内一些mysql中间件的实现，这里把对问题域的思考，以及常见中间件整理沉淀一下
众所周知，随着用户量的增多，数据库操作往往会成为一个系统的瓶颈所在，而且一般的系统“读”的压力远远大于“写”，因此我们可以通过实现数据库的读写分离来提高系统的性能。
1.程序自动完成，数据源方便管理。2.不需要维护，因为没用中间件。3.理论支持任何数据库 （sql标准）。
关于MYSQL的读写的需求,大部分都是在跟读作战,怎么读写分离,是在应用上实现, 或者通过的dns 转接,还是通过简单的中间件实现, 实际上这和需求以及当时可以满足需求的技术以及功耗比有关, 当然这也和数据库的量有关,所以没有那个更好,各花入个眼,没有那个更....
读写分离的场景应用 随着业务增长，数据越来越大，用户对数据的读取需求也随之越来越多，比如各种AP操作，都需要把数据从数据库中读取出来，用户可以通过开通多个只读实例，将读请求业务直接连接到只读实例上。使用RDS云数据库的读写分离功能，用户只需要一个请求地址，业务不需要做任何修改，由RDS自带的读写分离中间件服务来完成读写请求的路由及根据不同的只读实例规格进行不同的负载均衡，同时当只读实例出现故障时能够主动摘除，减少对用户的影响。对用户达到一键开通，一个地址，快速使用。 MySQL内核为读写分离的实现提供了支持，包括通过系统variable设置目标节点，session或者是事务的只读属性，等待/检查指定的事务是否已经apply到只读节点上，以及事务状态的实时动态跟踪等的能力。本文会带领大家一起来看看这些特征。说明一下，本文的内容基于RDS MySQL 5.6与RDS MySQL 5.7。
在系统初期，整体的并发了相对较小，因此一般都是将所有的数据信息存储在单库中进行读/写操作。但是随着用户规模不断提升，单库逐渐力不从心，TPS/QPS越来越低。因此到了这个时候，dba会将数据库设置为读写分离状态（生产环境一般会采用一主一从或者一主多从），Master负责写操作，Slave作为备库，不开放写操作，但是允许读操作，主从之间保持数据同步即可。 读写分离之后，可以大大提升单库无法支撑的负载压力 需要注意的是：如果Master存在TPS存在较高的情况，Master之前最好将同一份数据落到缓存中，以避免高并发情况下，从Slave中获取不到指定数据的情况发生 [MySQL 主从同步延迟的原因及解决办法(https://blog.csdn.net/soar_away/article/details/72615012)
在互联网项目中，当业务规模越来越大，数据也越来越多，随之而来的就是数据库压力会越来越大。
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
通常我们说的 MySQL 读写分离是指：对于修改操作在主库上执行，而对于查询操作，在从库上执行。主要目的是分担主库的压力。
随着微服务这种架构的兴起，我们应用从一个完整的大的应用，切分为很多可以独立提供服务的小应用。每个应用都有独立的数据库。
在很多项目，特别是互联网项目，在使用MySQL时都会采用主从复制、读写分离的架构。
不管是为了满足业务发展的需要，还是为了提升自己的竞争力，关系数据库厂商（Oracle、DB2、MySQL 等）在优化和提升单个数据库服务器的性能方面也做了非常多的技术优化和改进。但业务发展速度和数据增长速度，远远超出数据库厂商的优化速度，尤其是互联网业务兴起之后，海量用户加上海量数据的特点，单个数据库服务器已经难以满足业务需要，必须考虑数据库集群的方式来提升性能。
本系列文章将整理到我在GitHub上的《Java面试指南》仓库，更多精彩内容请到我的仓库里查看
mysql作为互联网公司都会用到的数据库，如果在使用过程中出现性能问题，会采用mysql的横向扩展，使用主从复制来提高读性能，要是解决写入问题，需要进行分库分表。本文不会去介绍mysql的高可用，需要了解Mysql高可用架构相关的请戳
导读：本文详细介绍了中间件，主要从数据库拆分过程及挑战、主流数据库中间件设计方案、读写分离核心要点、分库分表核心要点展开说明。
数据库锁设计的初衷是处理并发问题。作为多用户共享的资源，当出现并发访问的时候，数据库需要合理地控制资源的访问规则。而锁就是用来实现这些访问规则的重要数据结构。
Mysql优化那篇文章有朋友留言说就这么点？，深深刺痛了晓添的心，感觉知识深度被小看了，痛定思痛决定发布读写分离，分表分库优化文章，其实这系列文章也在Mysql优化的计划之内，最近较忙断断续续写的有点难受，到今天才跟大家见面，篇幅有限这篇我们来说说基于Mycat实现读写分离，话不多说我们赶紧看看好好的数据库又闹腾什么呢？
根据上图可以看到QPS：10.73k,实际上真实的并发大量数据到达的时候，我这里最高的QPS是将近15k.而目前单个数据库分片(实例)4CPU8G内存的配置下，最高的性能是7k的QPS。
达达创立于2014年5月，业务覆盖全国37个城市，拥有130万注册众包配送员，日均配送百万单，是全国领先的最后三公里物流配送平台。 达达的业务模式与滴滴以及Uber很相似，以众包的方式利用社会闲散人力资源，解决O2O最后三公里即时性配送难题（2016年4月，达达已经与京东到家合并）。
我们可能会采取各种方式去优化，比如之前文章提到的缓存方案，SQL优化等等，除了这些方式以外，这里再分享几个针对数据库优化的常规手段：「数据读写分离」与「数据库Sharding」。这两点基本上是大中型互联网项目中应用的非常普遍的方案了。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
对象存储
云直播
