MyCAT中的DDL

今天开发同学提了一个需求,是希望对某一个时间范围的表做DDL操作,看起来好像复杂度也不高。

但是我一看开发同学提供的信息时就有点犹豫了,因为端口是8066,也就意味着使用了中间件。这是一套MyCAT的环境,一共有4个节点,每个节点拆分成了4个逻辑节点,所以有16个sharding分片,正是应了那句话:百库十表。虽然目前看起来节点数也不多,但是看看这个表hisrecord的分片逻辑就会发现,远远比我们想的要更丰富一些。

这个表是按照日期来存储数据的,即数据的存储单位是日。表名类似于rec20180301,rec20180302这种。所以按照这种增长的趋势,可以根据时间维度不断扩展,同时又对每天的表做了细粒度的拆分,每个日表会有16个分片做hashl路由。

开发同学的需求是对某一天之后的日表添加字段,变更第一天的数据需要对该字段添加默认值,之后的就不需要默认值了,这个从业务的角度来说,是因为应用层升级,需要这个属性,如果有些业务暂时还没有迁移过来,有一天的时间来缓冲调整修复。所以目前的需求的福利就是我们要修改的表目前没有写入,做变更不用考虑在线业务的写入影响。

我简单算了下,按照目前的修改幅度,影响的日表有177个。

mysql> select datediff('2018-11-01','2018-05-08');

+-------------------------------------+

| datediff('2018-11-01','2018-05-08') |

+-------------------------------------+

| 177 |

+-------------------------------------+

1 row in set (0.00 sec)

按照16个分片来算,这个数量就相当大了,有2800多张表。

mysql> select 177*16;

+--------+

| 177*16 |

+--------+

| 2832 |

+--------+

1 row in set (0.00 sec)

涉及的DDL表有2个,即2个DDL语句,所以算下来就是5600多张表了。所以你看一张表就能拆分成2000多张表,一年有差不多5800张相关的表。

如果在这个基础上考虑当天的表结构变更,那就更复杂了。

我们来简单看下MyCAT里面的schema.xml配置。

里面配置了16个分片,即dn50-dn65,database是histrecord01-histrecord16

<dataNode name="dn50" dataHost="localhost1" database="hisrecord01" />

<dataNode name="dn51" dataHost="localhost1" database="hisrecord02" />

。。。

<dataNode name="dn65" dataHost="localhost4" database="hisrecord16" />

对表的分片规则是按照hash取模来计算的。

<table name="rec20180301" dataNode="dn$50-65" rule="mod-long-16-pid" />

<table name="rec20180302" dataNode="dn$50-65" rule="mod-long-16-pid" />。。。

<table name="rec20180307" dataNode="dn$50-65" rule="mod-long-16-pid" />

要做这个工作,手工完成的可能性太低,所以准备了如下的脚本,借鉴了之前同事的一些思路。

我们输入两个时间,即起始时间,终止时间。app_sql/create_sql.sql是表结构的定义文件。这个脚本的意义在于不断的处理表结构信息,打上时间戳,写入另外一个脚本文件,按照日期循环100天,就写入100次。

startdate=`date -d "20180508" +%Y%m%d`

enddate=`date -d "20181101" +%Y%m%d`

#定义循环主函数

function main(){

while [[ ${startdate} < ${enddate} ]]

do

echo ${startdate}

cat /home/mysql/app_sql/create_sql.sql >> /home/mysql/app_sql/alter_his_record.sql

sed -i "s/20180508/${startdate}/g" /home/mysql/app_sql/alter_his_record.sql

echo "" >> /home/mysql/app_sql/alter_his_record.sql

echo

startdate=`date -d "+1 day ${startdate}" +%Y%m%d`

done

}

#执行主函数

main

所以很快就完成了上述的基本操作。当然MyCAT端是不支持DDL语句的。所以我们需要在每个节点上单独去执行相应的变更DDL。

根据得到的脚本略作改动,就可以分发到不同的sharding节点侧了。整个过程持续了不到半个小时,很多时间都是在不断的确认中,因为这个变更的影响范围确实有点大。

当然这个问题的前提是我们已经创建好了日表,如果没有日表的话,我们还是需要重新配置一下,然后在MyCAT端reload一些配置。

把这个任务扩展一下,就会发现,中间件层面的数据处理更侧重于TP业务,而且是插入密集型的业务,如果是节点间的交互分布式,那这个方案就不大适合了。同时不断的拆分从业务的角度来说,历史数据的归档保留和数据的聚合需求还是有的。可能在这个时候中间件层面的支持就很有限了,我们在一定程度上可能需要其他的解决方案。

本文分享自微信公众号 - 杨建荣的学习笔记(jianrong-notes),作者:r16笔记第15天

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2018-05-07

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 如何基于Python实现MySQL查询的API设计,附上完整脚本

    我们在平时的工作中不可避免会有连接到数据库的操作,通常来说我们会使用基于Shell的方式,或者基于数据库驱动的连接方式,比如JDBC,ODBC,PyMySQ...

    jeanron100
  • shell脚本自动化采集性能sql(r2笔记39天)

    通过v$sql_monitor能够实时采集可能存在的sql性能问题,但是每次问题发生的时候采取采取措施就有点“晚”了,我们需要防患于未然,把一些潜在问题提前发现...

    jeanron100
  • 让你的运维系统充满“诗意”

    在过年的那些日子,每天中午都会陪着孩子看会《诗词大会》,突然发现这个节目还蛮有意思。一些难以言传的情感或者意境,通过诗词用几个字就能传神的表达出来。

    jeanron100
  • 交换排序—快速排序(Quick Sort)

    2)通过一趟排序讲待排序的记录分割成独立的两部分,其中一部分记录的元素值均比基准元素值小。另一部分记录的 元素值比基准值大。

    瑾诺学长
  • asp.net mvc 验证码

    阿炬
  • MATLAB 比较好入门书籍有哪些推荐

    https://www.zhihu.com/topic/19559252/hot

    bear_fish
  • bootstrap treeview lazyload懒加载实践bootstrap treeview 增删改的正确姿势

    版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/hotqin888/article/det...

    hotqin888
  • Flask-5 博客项目包结构重构

    在Flask_Blog文件夹中新建一个models.py文件,将上一章中User、Post实体模型代码剪切到这个文件中:

    亚乐记
  • WPF 创建空白图片

    本作品采用 知识共享署名-非商业性使用-相同方式共享 4.0 国际许可协议 进行许可。欢迎转载、使用、重新发布,但务必保留...

    林德熙
  • Spring 框架基础(02):Bean的生命周期,作用域,装配总结

    上面使用 ComponentScan 注解,也可在配置文件进行统一的配置,效果相同,还简化代码。

    知了一笑

扫码关注云+社区

领取腾讯云代金券