前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >自动化平台开发小结(五)

自动化平台开发小结(五)

作者头像
jeanron100
发布2018-03-22 14:48:36
5280
发布2018-03-22 14:48:36
举报

今天在睡觉前,突然想明白了一个问题,也就意味着之前困扰我的几个问题都有了解决的思路,算是取得了一个阶段性的成果吧。

接下来的事情就会相对快一些了,我来简单说下。

为了能够方便调试,自己先实现了一个基本功能,是基于Django的raw sql来实现的访问接口,传入sql或者数据库命令都可以。这样一来,我就可以很方便的查看数据库端的数据情况了。

当然这个带来的进一步改进就是我可以基于这个实现数据库层的访问接口。当然不是用Django,而是基于Python的MySQL驱动接口来做。

而在这个这个基础上,我可以马上得到一些福利,比如我可以很方便的对已有的环境进行初步的SQL分析,查看执行计划,查看优化器参数和关键数据库参数等等。

所以这个过程是并行的,元数据的部分有了初步的信息,把锁定一台服务器的粒度确定之后,就可以按照这个粒度来进行针对性的业务关联。

对此我准备先入手的就是备份恢复,备份的后台任务和备份脚本还没有接入进来,目前已有数据库的表来记录每天的备份情况,

对于备份数据的查询,我使用了如下的表格,基于时间和IP维度来查看备份的详细情况。

如果需要得到概览的信息,就需要重新定制看板。如下是一个测试环境的模拟数据。我可以根据这些关键指标来进行备份情况的摸底,有了这些数据之后要改进就有一个明确的方向了,比如备份时长太多,我们的备份优化就可以针对性的改进。

现在面临的一个实际问题是,我们暂时还不希望对已有的数据和流程造成影响,因为过年前做这个改动不是很合适,需要保持现状,但是还能够实现基本的需求。我就设计了一个备份数据同步的功能。目前的自动化平台中是设计了一个表来记录备份信息,这个数据是本地存储的,但是源数据是在另外一个数据库中,我就需要在一个事务里先从源端取到数据,然后把数据遍历,得到insert语句插入到当前的自动化平台库中。

在这个基础上,我沉淀了DAO层,设计了一些功能点,目前来看效果还不错。

本文参与 腾讯云自媒体分享计划,分享自微信公众号。
原始发表:2018-01-24,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 杨建荣的学习笔记 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体分享计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
相关产品与服务
数据库
云数据库为企业提供了完善的关系型数据库、非关系型数据库、分析型数据库和数据库生态工具。您可以通过产品选择和组合搭建,轻松实现高可靠、高可用性、高性能等数据库需求。云数据库服务也可大幅减少您的运维工作量,更专注于业务发展,让企业一站式享受数据上云及分布式架构的技术红利!
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档