数据库运维中的周期表维护

这是学习笔记的第 1780篇文章

在数据库运维中, 有一种类型的表需要格外重视,在Oracle中可能是分区表,在MySQL中更多是日期表,其实无论哪种形式,他们的属性是相通的,属于周期表。这里就会涉及两类维护,一类是创建,一类是清理。对于变更来说,其实和其他的表类型是相通的,就此不再赘述。

周期表有一个问题那就是如果业务同学提出扩展表,比如我们可以创建一个月的表或分区,那么如果一个月之后,我们忘记了,业务同学也忘记了扩展,那么麻烦就来了,这个信息没有人知道。

同理数据清理也是类似,如果我们需要根据业务需求删除一周前的数据,如果我们忘记了,或者业务同学忘记了,那么这个事情就很麻烦了,所以这个可以通过统一的配置来对接。

或者说,这属于数据运维的一个专门入口,至于定时的执行是crontab还是celery等,其实都可以的。

对于周期表的创建和数据清理,我做了初步的设计。也是后续作为一种数据运维场景的典型。

数据周期表创建

集成配置入口来定义数据的周期策略

建表模板需要配置页面,建表的元数据信息可以先存储下来,形成元数据管理

元数据标签属性来定义

作为应用监控巡检

作为crontab来定期执行

应用场景:

主从切换之后,主库的crontab能够在从库生效

延伸:开通防火墙权限,主库开通的权限在从库端也开通

后续可以回收应用端的创建表权限和删除表权限

预备条件:

主从关系

MHA高可用信息管理

数据清理

定义数据保留周期

数据清理

数据备份保留策略,下沉到HDFS

作为crontab来定期执行

应用场景:

周期表可以根据时间维度来删除

普通业务表的数据删除也可以支持,需要根据业务维度来定制删除逻辑

主从切换之后,删除任务可以切换到从库端执行

能够及时提炼出一些大表信息,如果存在碎片,可以早期发现

预备条件:

从库端需要保证是read only状态

原文发布于微信公众号 - 杨建荣的学习笔记(jianrong-notes)

原文发表时间:2018-10-21

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏月牙寂

Golang分布式设计模式之-----分层设计

第一时间获取文章,可以关注本人公众号 月牙寂道长 yueyajidaozhang      

3715
来自专栏高性能服务器开发

(八)高性能服务器架构设计总结4——以flamigo服务器代码为例

一个项目的服务器端往往由很多服务组成,就算单个服务在性能上做到极致,支持的并发数量也是有限的。举个简单的例子,假如一个聊天服务器,每个用户的信息是1k,那对于一...

1155
来自专栏杨建荣的学习笔记

MySQL 5.6, 5.7并行复制测试(二)(r12笔记第10天)

昨天花了点时间整理了下并行复制在5.6,5.7中的一些差别和测试,MySQL 5.6, 5.7并行复制测试(r12笔记第9天),当然只是一个开始,因为里面还...

4257
来自专栏about云

kafka sql入门

问题导读 1.kafka sql与数据库sql有哪些区别? 2.KSQL有什么作用? 3.KSQL流和表分别什么情况下使用?

2282
来自专栏技术换美食换不换

建站之路

1032
来自专栏python3

python语音识别

语音识别技术,也被称为自动语音识别,目标是以电脑自动将人类的语音内容转换为相应的文字。应用包括语音拨号、语音导航、室内设备控制、语音文档检索、简单的听写数据录入...

1.8K4
来自专栏数据和云

数据库高可用和分区解决方案-MySQL 篇

许春植(Luocs) (阿里巴巴高级数据库管理员,7年以上数据库运维管理经验,擅长MySQL、Oracle及MongoDB数据库,目前主要研究并建设Mongo...

5186
来自专栏腾讯架构师的专栏

云计算时代的数据库核弹头 : Tencent MySQL ( TXSQL)

作为腾讯规模最大的 MySQL 数据库服务,CDB 在腾讯云上也是最受欢迎的关系型数据库产品。CDB 不仅具备备份回档、监控、快速扩容等数据库运维的全套解决方案...

7080
来自专栏铭毅天下

Elasticsearch全文检索实战小结——复盘我带的第二个项目

一、项目概述 这是一个被我称之为“没有枪、没有炮,硬着头皮自己造”的项目。项目是和其它公司合作的三个核心模块开发。 使用ES的目的是: 1)、采集数据、网站...

4359
来自专栏数据和云

从原理到实践:Oracle 12.2 Sharding技术揭秘

何剑敏 Oracle ACS华南区售后团队,首席技术工程师 曾供职于中国联通信息计费部、卓望数码,系统支撑部首席DBA,负责中国移动全网梦网业务和移动应用商城...

4327

扫码关注云+社区

领取腾讯云代金券