专栏首页杨建荣的学习笔记MyCAT让人诟病的配置文件,说说破局的思路

MyCAT让人诟病的配置文件,说说破局的思路

最近在做MySQL分布式环境的统筹管理,目前碰到的痛点是对于集群的配置管理目前是松散的,几套环境还能忍受,如果环境多了之后还是很容易凌乱,所以我们需要一套机制来保证。

在中间件层面,Mycat的配置管理是很让人诟病的。第一层就是文件配置管理方面,我想这应该是受到诟病最多的地方了。比如增加一个周期表,按照日期来做拆分,那么每隔一段时间就需要特意维护一次,一来是扩展新表,而来是清理数据,这个过程中会操作schema.xml文件,在里面新增一些行,删除一些行,这个工作看起来繁琐而且重复度极高。

就是这样的任务配置,在最近的一些操作中竟然碰到了钉子,在此推荐的第一要则就是修改配置文件前请先备份schema.xml文件,大体来说schema.xml的配置是重中之重,但是很容易出现一些意料之外的问题:

第一种情况是出现异常导致,schema.xml文件被刷掉;

第二种情况是在schema.xml文件里面使用vim编辑,如果出现格式问题,重新加载配置文件是失败的,但是不会提示你哪一行出现了问题。

第三种情况比较诡异,即没有任何明显的配置问题,就是新增了几行,删除了几行,但是就是提示加载配置文件失败

第四种情况是逻辑问题,比如我们按照日期来进行分表,那么会产生test_20191016,test_20191017这样的表,但是每个月不是都有31天,所以我们配置的时候还是可能配置错误,比如10月份漏了第31天,导致业务写入不了数据就比较尴尬了。

对于MyCAT的这个问题,有两类解决的思路:

第一类是从上往下,也算是MyCAT创建表的一个小技巧,在较新的版本中是支持create table的。我们可以在schema.xml文件中配置记录,然后在中间件中使用create table来创建表。

这一层的难点是处理好schema.xml文件的问题。

大体来说有如下的一些流程需要注意:

创建表流程

1.备份已有的schema.xml配置文件

2.根据逻辑生成新增的对象配置

3.刷新配置文件

4.执行SQL脚本创建表

5.同步配置文件至其他中间件服务

6.检查稽核表是否连续

7.检查表是否在安全期以内

周期表删除

1.备份已有的schema.xml配置文件

2.执行SQL脚本删除表

3.根据逻辑删除对象配置

4.刷新配置文件

5.同步配置文件至其他中间件服务

6.检查稽核表是否连续

7.检查表是否在安全期以内

可以看到流程中有很多的共通之处,如果细化处理好每一个步骤,是可以很快构建出这个流程的。

第二类解决思路是从下往上,即通过底层的配置开始逐步完善,然后上推到配置中,这是一种更加通用的方式,如果配置出现一些问题,我们依然可以通过底层的逻辑关系很快构建出来。

我们可以设想几个场景,比如我们要新增一个表,那么在配置层面生效之外,还需要在数据库层面生效,至于分片的规则策略,数据节点的配置管理应该是一体化的工作,比如新建表应该是关联主从复制环境的主库来执行。

比如对一张表做变更,则不会涉及配置层面的变动,需要映射相关的数据节点即可。

比如需要对分布式环境的数据做数据流转和归档,则映射到数据节点应该是从库端去抽取数据。

比如开放集群的元数据给业务方,则对所有的业务场景都需要做到信息融合,比如开通权限,要对中间件节点开通权限即可,如果要创建账号,则需要映射到相关的数据节点上面。

所以对于这个分布式管理模式,操作层面我倒不是很担心,主要是担心这个模型层面该怎么玩。从目前我梳理的信息来看,主要包含如下的几个维度:

元数据信息涉及:集群,路由,实例,数据库,表,如下图所示:

我们分为创建表,变更表,元数据访问入口,数据流转和归档四个场景来进行模型的说明。

首先是创建表,是目前的模型设计中最为复杂的。对于元数据的整理和梳理,可以参考如下的映射关系。

最后的部分是对于配置生效,我们可以刷新中间件的配置信息生效。而纵观整个方案,其实是分成了三个较大的维度。

对于变更表来说,操作复杂度会低很多,主要涉及中间件配置和实例层的配置变动。

对于元数据提取的需求,则对中间件配置层的信息是弱化的,主要对接的是集群层面的信息。

有的同学可能会有疑问:为什么中间件层和集群层的配置都会各搞一套,其中一个原因是他们的角色和定位不同,而本质上集群层面的信息是更加通用的。

对于数据流转和归档,则主要是中间件配置和实例,表层面的信息对接,映射到从库,从从库中提取数据。

整个模型的设计需要很多细化的工作和API模式管理。

本文分享自微信公众号 - 杨建荣的学习笔记(jianrong-notes)

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2019-10-18

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 解决插件化资源id冲突

    第一步:aapt。为res目录下的资源生成R.java文件,同时为AndroidManifest.xml生成Manifest.java文件

    用户3112896
  • python 标准库大全

    郭大侠
  • Spring Boot 面试,一个问题就干趴下了!

    最近栈长面试了不少人,其中不乏说对 Spring Boot 非常熟悉的,然后当我问到一些 Spring Boot 核心功能和原理的时候,没人能说得上来,或者说不...

    用户5224393
  • Spring事务管理

    事务的特性: 原子性:事务不可分割 一致性:事务执行前后数据完整性保持一致 隔离性:一个事务的执行不应该受到其他事务的干扰 持久性:一旦事务结束,数据就持久到数...

    用户3112896
  • Mac搭建Hadoop环境

    版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。

    week
  • 第14次文章:网络编程完善+注解

    小白这周把网络编程最后的一部分给结束了,然后接触了注解的内容。开始下一阶段的内容学习。fighting!!!

    鹏-程-万-里
  • SpringBoot 注解大全

    @SpringBootApplication:包含了@ComponentScan、@Configuration和@EnableAutoConfiguration...

    好好学java
  • Springboot中Excel的解析操作(一)

    最近在做SpringBoot项目,项目中需要上传Excel文件,对Excel文件中的内容进行解析,然后将需要的数据存入数据库,同时还要根据用户的需求,将需要的内...

    23号杂货铺
  • 灵活使用Maven Profile

    项目中一直应用Maven的profile特性解决不同环境的部署问题。最近在尝试解决本地调试环境的时候碰到一些问题,顺便仔细研究了一下。因为项目仍然在用普通Spr...

    程序猿讲故事
  • Springboot中Excel的下载操作(二)

    最近在做SpringBoot项目,项目中需要上传Excel文件,对Excel文件中的内容进行解析,然后将需要的数据存入数据库,同时还要根据用户的需求,将需要的内...

    23号杂货铺

扫码关注云+社区

领取腾讯云代金券