自动化平台开发小结(五)

今天在睡觉前,突然想明白了一个问题,也就意味着之前困扰我的几个问题都有了解决的思路,算是取得了一个阶段性的成果吧。

接下来的事情就会相对快一些了,我来简单说下。

为了能够方便调试,自己先实现了一个基本功能,是基于Django的raw sql来实现的访问接口,传入sql或者数据库命令都可以。这样一来,我就可以很方便的查看数据库端的数据情况了。

当然这个带来的进一步改进就是我可以基于这个实现数据库层的访问接口。当然不是用Django,而是基于Python的MySQL驱动接口来做。

而在这个这个基础上,我可以马上得到一些福利,比如我可以很方便的对已有的环境进行初步的SQL分析,查看执行计划,查看优化器参数和关键数据库参数等等。

所以这个过程是并行的,元数据的部分有了初步的信息,把锁定一台服务器的粒度确定之后,就可以按照这个粒度来进行针对性的业务关联。

对此我准备先入手的就是备份恢复,备份的后台任务和备份脚本还没有接入进来,目前已有数据库的表来记录每天的备份情况,

对于备份数据的查询,我使用了如下的表格,基于时间和IP维度来查看备份的详细情况。

如果需要得到概览的信息,就需要重新定制看板。如下是一个测试环境的模拟数据。我可以根据这些关键指标来进行备份情况的摸底,有了这些数据之后要改进就有一个明确的方向了,比如备份时长太多,我们的备份优化就可以针对性的改进。

现在面临的一个实际问题是,我们暂时还不希望对已有的数据和流程造成影响,因为过年前做这个改动不是很合适,需要保持现状,但是还能够实现基本的需求。我就设计了一个备份数据同步的功能。目前的自动化平台中是设计了一个表来记录备份信息,这个数据是本地存储的,但是源数据是在另外一个数据库中,我就需要在一个事务里先从源端取到数据,然后把数据遍历,得到insert语句插入到当前的自动化平台库中。

在这个基础上,我沉淀了DAO层,设计了一些功能点,目前来看效果还不错。

原文发布于微信公众号 - 杨建荣的学习笔记(jianrong-notes)

原文发表时间:2018-01-24

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏程序员的知识天地

为何Node.js 能成为 Web 应用开发最佳选择?【强推理由】

一项颠覆性的技术进入技术市场总会带来一阵震惊,但随之而来往往是被放弃。然而,Node.js 当然不是这样的情况,它是一个开源的、跨平台的基于 Chrome 的 ...

17110
来自专栏源哥的专栏

在线客服技术详解(未完待续)

<?xml:namespace prefix = v ns = "urn:schemas-microsoft-com:vml" /><?xml:namespac...

44340
来自专栏CSDN技术头条

实用简介:MQTT协议及其在物联网中的应用

MQTT (Message Queuing Telemetry Transport,消息队列遥测传输) 是一种标准化的发布/订阅消息传输协议,设计于1999年,...

50760
来自专栏娱乐心理测试

IOS 上传到后台json数据

17730
来自专栏魏艾斯博客www.vpsss.net

腾讯云数据库 MySQL 月付 8 元及基本使用

38860
来自专栏架构师之路

多key业务,数据库水平切分架构一次搞定

数据库水平切分是一个很有意思的话题,不同业务类型,数据库水平切分的方法不同。 本篇将以“订单中心”为例,介绍“多key”类业务,随着数据量的逐步增大,数据库性能...

43470
来自专栏Golang语言社区

Terratest:一个用于自动化基础设施测试的开源Go库

Gruntwork开源了他们的Go框架Terratest。该框架可以用于编写测试基础设施的自动化测试。该库内置了对Terraform和Packer的支持。

23930
来自专栏腾讯移动品质中心TMQ的专栏

HTTP性能测试

由于我们公司用户数量庞大,在服务上线之前,性能测试必不可少。本文主要介绍性能测试的流程,需要关注的指标,性能测试工具Apache bench的使用,以及常见的坑...

696140
来自专栏嵌入式程序猿

这只电子狗跑哪里去了,快找

最新新换了批电脑,所有的开发软件都要重装,其中在IAR安装完,license激活后,打开软件时总是提示找不到dongle,导致项目无法编译,我用的是8.20版本...

11620
来自专栏Spark学习技巧

消息队列服务Kafka揭秘:痛点、优势以及适用场景

摘要:消息队列Kafka是一个分布式的、高吞吐量、高可扩展性消息队列服务,广泛用于日志收集、监控数据聚合、流式数据处理、在线和离线分析等,是大数据生态中不可或缺...

35330

扫码关注云+社区

领取腾讯云代金券