首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >数据库运维中的周期表维护

数据库运维中的周期表维护

作者头像
jeanron100
发布2018-11-08 15:56:56
1.6K0
发布2018-11-08 15:56:56
举报

这是学习笔记的第 1780篇文章

在数据库运维中, 有一种类型的表需要格外重视,在Oracle中可能是分区表,在MySQL中更多是日期表,其实无论哪种形式,他们的属性是相通的,属于周期表。这里就会涉及两类维护,一类是创建,一类是清理。对于变更来说,其实和其他的表类型是相通的,就此不再赘述。

周期表有一个问题那就是如果业务同学提出扩展表,比如我们可以创建一个月的表或分区,那么如果一个月之后,我们忘记了,业务同学也忘记了扩展,那么麻烦就来了,这个信息没有人知道。

同理数据清理也是类似,如果我们需要根据业务需求删除一周前的数据,如果我们忘记了,或者业务同学忘记了,那么这个事情就很麻烦了,所以这个可以通过统一的配置来对接。

或者说,这属于数据运维的一个专门入口,至于定时的执行是crontab还是celery等,其实都可以的。

对于周期表的创建和数据清理,我做了初步的设计。也是后续作为一种数据运维场景的典型。

数据周期表创建

集成配置入口来定义数据的周期策略

建表模板需要配置页面,建表的元数据信息可以先存储下来,形成元数据管理

元数据标签属性来定义

作为应用监控巡检

作为crontab来定期执行

应用场景:

主从切换之后,主库的crontab能够在从库生效

延伸:开通防火墙权限,主库开通的权限在从库端也开通

后续可以回收应用端的创建表权限和删除表权限

预备条件:

主从关系

MHA高可用信息管理

数据清理

定义数据保留周期

数据清理

数据备份保留策略,下沉到HDFS

作为crontab来定期执行

应用场景:

周期表可以根据时间维度来删除

普通业务表的数据删除也可以支持,需要根据业务维度来定制删除逻辑

主从切换之后,删除任务可以切换到从库端执行

能够及时提炼出一些大表信息,如果存在碎片,可以早期发现

预备条件:

从库端需要保证是read only状态

本文参与 腾讯云自媒体分享计划,分享自微信公众号。
原始发表:2018-10-21,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 杨建荣的学习笔记 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体分享计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
相关产品与服务
云数据库 SQL Server
腾讯云数据库 SQL Server (TencentDB for SQL Server)是业界最常用的商用数据库之一,对基于 Windows 架构的应用程序具有完美的支持。TencentDB for SQL Server 拥有微软正版授权,可持续为用户提供最新的功能,避免未授权使用软件的风险。具有即开即用、稳定可靠、安全运行、弹性扩缩等特点。
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档