为了使DBA的工作轻松，有效率很多年前各大公司就开始自动化运维平台建设，在这方面我们属于比较晚的了。 今天介绍下最近开发的一个平台，自助DML。什么是DML，就是平常执行的增删改查数据库操作。...有人有疑问这不是程序访问的操作，为什么还要做一个平台操作这些呢，其实这种操作主要是开发需要线下修复数据的一种操作，不只是增删改，还有建表，建索引，添加字段等，这些操作开发一般会提给DBA协助操作数据库。...虽说现在的公司实例少点，但每天的工作量还是很大，关键这种工比较重复，枯燥，没有技术含量，所以迫切需要一个自助的服务平台开放出去来提高工作效率，解放DBA。...接下来先上流程图： 所涉及的技术点,如下: (1)开发语言： Python (2)框架： Flask (3)bootstrap,html,js,css,jQuery (4)后端存储MySQL...(5)celery rabbitmq 平台部分截图： 1) 提交任务需要满足两个条件：(1) 元数据平台(请参考之前的元数据平台博客)集群归属部门信息不能为空 (2)提交任务的人所在部门要跟集群归属部门一致
蓝鲸自动化运维平台 1.蓝鲸简介 官网：https://bk.tencent.com/docs/ 腾讯蓝鲸智云，简称蓝鲸，是腾讯互动娱乐事业群（Interactive Entertainment Group...，简称 IEG）自研自用的一套用于构建企业研发运营一体化体系的 PaaS 开发框架，提供了 aPaaS（DevOps 流水线、运行环境托管、前后台框架）和 iPaaS（持续集成、CMDB、作业平台、容器管理...、数据平台、AI 等原子平台）等模块，帮助企业技术人员快速构建基础运营 PaaS。
前言：在之前的文章批量执行crontab指定条目的注释和解注释提到过spug平台，本文具体的对该平台做详细介绍。...Spug 面向中小型企业设计的轻量级无 Agent 的自动化运维平台，整合了主机管理、主机批量执行、主机在线终端、文件在线上传下载、应用发布部署、在线任务计划、配置中心、监控、报警等一系列功能。...公钥保存在各个被管理主机上，私钥存在于spug平台里(不是172.27.34.51服务里上面)。...2.2 获取微信Token 关注微信公众号'Spug运维'，点击'我的'菜单获取 2.3 获取钉钉webhook 首先新建群聊 选择接收的联系人，创建群‘spug告警接收’ 点击群聊窗口右边的...spug平台既可当跳板机，也可以替代堡垒机部分功能，如进入console、文件上传下载等。
前言：在之前的文章批量执行crontab指定条目的注释和解注释提到过spug平台，本文具体的对该平台做详细介绍。...Spug 面向中小型企业设计的轻量级无 Agent 的自动化运维平台，整合了主机管理、主机批量执行、主机在线终端、文件在线上传下载、应用发布部署、在线任务计划、配置中心、监控、报警等一系列功能。...2.2 获取微信Token 关注微信公众号'Spug运维'，点击'我的'菜单获取 ? 2.3 获取钉钉webhook ? 首先新建群聊 ? 选择接收的联系人，创建群‘spug告警接收’ ? ? ?...spug 有自己的密钥对,公钥保存在被管理的主机内，私钥保存在spug平台内(不是管理主机172.27.34.51里)。...spug平台既可当跳板机，也可以替代堡垒机部分功能，如进入console、文件上传下载等。
一、概要 Spug是一款使用Python+Flask+Vue+Element组件开发的开源运维管理系统,系统前后端分离，项目创建于2017年，2018 年 2 月第一个开源运维平台版本发布，设计为面向中小型企业设计的轻量级无...Agent的自动化运维平台，UI基于Ant Design设计，整合了主机管理、主机批量执行、主机在线终端、应用发布部署、在线任务计划、配置中心、监控、报警等一系列功能，且二次开发很方便。...官方镜像内置了 Mysql 数据库，也可以使用外部数据库（Mysql 5.6+） $ docker pull registry.aliyuncs.com/openspug/spug #启动容器 # 第一种...，通过修改配置使用 MYSQL 作为后端数据库； #在 spug_api/spug/ 目录下创建 overrides.py 文件，启动后端服务后会自动覆盖默认的配置，避免直接修改 settings.py.../mysql.sock' # 如果是本机数据库,且不是默认安装的Mysql,需要指定Mysql的socket文件路径 } } } #初始化数据库 $ cd /data/spug
manage01 ~]# yum -y install epel-* 6.ssh远程连接 管理端和被管理端连接时基于ssh的，所以有两种连接方式 1）基于ssh口令 2）基于ssh证书（重点讲解） 如果想不需要运维人员干预...platform-python" }, "changed": false, "ping": "pong" } 三、学习视频 视频：部署前准备 视频：ssh证书互信设置 视频：ansible平台部署...视频：主机列表文件hosts文件 视频：ansible自动化平台部署知识图谱
一、运维自动化平台介绍 1.1、自动化运维平台介绍 运维自动化平台是由管理机器[S]和业务机器[C]组成的,C/S。 管理机器：任务定制及发布； 业务机器：接收任务并执行任务。...1.2、运维自动化平台的优势： 一次性任务定制：任务一次性发布给所有机器 节省任务执行时间：任务主机并发完成任务，节省部署时间 错误率低：避免重复，保证一次任务定制准确即可 二、常见的自动化运维工具 2.1...2.2、ansible介绍 ansible是一种由Python开发的自动化运维工具，集合了众多运维工具（puppet、cfengine、chef、func、fabric）的优点，实现了批量系统配置、批量程序部署...业务机器执行任务 5、业务机器将执行结果发送给ansible管理机器 反馈字体颜色 绿色 未发生变化 黄色 更改生效 红色 执行错误 四、学习视频 视频：ansible课程介绍 视频：自动化运维平台课程介绍...视频：自动化运维平台介绍 视频：ansible介绍 视频：ansible工作原理
运维管理平台展示，还在完善中，有所不足，望提出建议，感激不尽。...www.mykurol.com @@ Github ：https://github.com/kurolz 架构：Python+Django+bootstrap+SaltStack+Zabbix+MySQL...采用Prism高亮展示代码 监控：采用Zabbix api调用收集数据，采用百度开源的ECharts绘图展示 心得： 由于是独立开发，python也是自学，从数据的获取(包括各种api的调用,数据库设计查询...)，到数据处理，再到前端展示，还有前端设计，遇到过各种问题，经过一段时间学习，成功完成一些功能，打开了思路，后续的思路越来越广，会继续完善这个平台。
在前面的另外一篇文章【运维平台全体系介绍】中，也讲到运维平台体系的构成，提出“**及服务”的理念，其中有几部分和自动化密切相关，比如说资源及服务、配置及服务、架构及服务，持续集成服务，最终都服务于面向业务的可视化调度平台目标上去...四、运维自动化的方法论 第一、全局驱动 无论是从全部的自动化管理平台规划，还是某个平台的规划，都希望大家都能找到一个全局的立足点。...所以提供类SSH界面的运维发布和部署平台，是没有任何运维价值的。 五、运维自动化系统的实现 挑战一个自动化的极致场景（可视化），是运维人对极致的追求。...还有数据库运维管理平台和分布式cache管理系统......都有相应的实现，这个地方不贴图介绍了。 六、运维自动系统的API参考实现 所有底层的系统对外提供服务都是通过API暴漏的，供各个系统使用。...有了用户驱动和价值驱动，对运维的效率、质量都有了更高的要求，反向驱动我们必须走自动化和平台这条道路。
数据库不仅仅是dba的工作，每一个测试人员也应该懂得基本的数据运维操作，因为数据库是数据承载的地方并且是系统中非常重要的一部分，所以我们也需要熟练的对数据库进行基本维护。...或者 mysql>source alldb.sql; 第2组命令： 2.1：导出某些库 mysqldump --socket=/home/q/mysql/multi/3306/socket/mysql.sock...或者 mysql>source tables.sql; 02、shell脚本实现数据库备份 ---- #!...='localhost' #mysql服务器 MYSQL_PORT='3306' #mysql服务端口 MYSQL_USER='root' #mysql账号 MYSQL_PASSWORD='123456...总结：数据库的运维对于测试人员来说仍然是非常重要的，比如：非常重要也不太容易构建的测试数据需要做备份操作时，数据库的运维就显得很有技术含量，掌握数据的基本运维可以使测试工作做得更出色，同时也会让开发刮目相看
Spug – 轻量级自动化运维平台 对于中小型企业而言，进行主机和应用的管理是比较麻烦的，应用部署往往需要直接连接服务器，再进行手动的环境配置、代码拉取、应用构建和部署发布等工作，容易出错，且耗时费力。...一个好的自动化运维平台，往往能大大节省人力物力，提高开发部署效率。Spug，正是一个面向中小型企业设计的轻量级自动化运维平台。...Spug自动化运维平台 简介 Spug，是 openspug 在 Github 上开源的自动化运维平台，项目位于 https://github.com/openspug/spug，同时在 Gitee 上维护...参考 《面对中小企业的开源运维平台spug》https://www.modb.pro/db/109404 《一款适合中小企业的轻量自动化运维平台 Spug》https://www.modb.pro/db.../109403 《自动化运维平台Spug测试》https://www.modb.pro/db/109402 《无Agent自动化运维平台-spug》https://www.modb.pro/db/109401
开源自动化运维平台Spug Spug 演示环境 特性 安装 Docker安装 安装步骤 1. 安装docker 2. 拉取镜像 3. 启动容器 4. 初始化 5. 访问测试 6....版本升级 Spug Spug是面向中小型企业设计的轻量级无Agent的自动化运维平台，整合了主机管理、主机批量执行、主机在线终端、应用发布部署、在线任务计划、配置中心、监控、报警等一系列功能。...官方镜像内置了 Mysql 数据库，如果需要使用外部已有数据库（Mysql 5.6+），可以参考 此文档 设置后再进行下一步的初始化操作。 根据需要，以下两种启动方式任选其一即可。
在项目上线完成后，业务系统或平台自然就转入了运维管控期，而在运维期两个重点，一个就是运维流程的标准化和规范化，另外一个就是运维工作本身的自动化。...对于运维自动化将成为后续我重点关注的一个内容，因为本身我们DevOps实践也需要这方面的积累。...对于运维自动化，传统我们可能是编写自动化的运维脚本，然后是手工或定时的执行运维脚本完成整个自动化执行过程和运维例行检查。...而今天要谈自动化运维平台，里面一个重点就是基于我们面对的运维场景，如何将运维操作或任务进行细粒度分解，然后再对运维操作进行组合和编排。 为何要这样做？...重点就是将整个运维流程可视化掉，能够看到分步骤分任务的执行，并快速定位执行中问题。
对于平台里面的几个地方一直没大理清楚，所以想了几种办法，一种是蒙着头继续做，想到哪里做到哪里，结果做的时候发现很多东西都没有规划好，很容易从这个死胡同调入另一个死胡同，所以进度不能保证，质量不能保证。...但是如果是电子版本，总是感觉少了点什么，会在一定程度上限制我的 所以惭愧的是，一直在说自动化，但是现在连半自动化还没有做好。
一个好的自动化运维平台，往往能大大节省人力物力，提高开发部署效率。Spug，正是一个面向中小型企业设计的轻量级自动化运维平台。 ?...Spug自动化运维平台 简介 Spug，是 openspug 在 Github 上开源的自动化运维平台，项目位于 https://github.com/openspug/spug，同时在 Gitee 上维护...$ docker run -d --restart=always --name=spug -p 80:80 registry.aliyuncs.com/openspug/spug 默认使用镜像内部的 MySQL...$ source venv/bin/activate$ pip install -r requirements.txt -i https://pypi.doubanio.com/simple/ 初始化数据库...角色权限 总结 Spug 作为一个自动化运维平台，相对而言比较轻量，无需复杂的配置，就可以完成服务的部署，并通过简单的应用管理和发布申请，完成不同部署项目的版本管理，实现自动化的发布流程，以及版本回滚等
防火墙、各种客户端安装；当然这还不够，若运维平台集成了cmdb、跳板机、zabbix等，服务器上架还需要注册到cmdb及跳板机、zabbix等管理工具；如还有其他工具也需要进行集成。...4.2 环境定义自动化环境自定义分两种情况:（1）中小公司，测试环境包含所有的系统，即系统间是不隔离的，数据库中包含各种系统对应的库；（2）大公司，每套系统需要单独一套隔离的测试环境，各系统间不能互相访问...6.2 选择正确的阶段运维自动化一般沿袭这样的阶段：手动支撑 => 线上标准规范化 => 运维工具化 => 平台自助化/自动化。选择适合自己当前业务发展阶段的运维自动化方式，不要一口吃成胖子。...另外，对于大中型运维自动化平台而言， CMDB和配置系统依然不可或缺。CMDB即配置管理数据库，一般用于统一管理IT数据、服务器数据资产等。...7.2 运维管理文章开头说运维管理主要目标是标准化/规范化，自动化，可视化/web化，从切身体验来看运维管理的目标也是随着运维自动化阶段的不同而变化的。
前言 Spug 面向中小型企业设计的轻量级无 Agent 的自动化运维平台，整合了主机管理、主机批量执行、主机在线终端、文件在线上传下载、应用发布部署、在线任务计划、配置中心、监控、报警等一系列功能。...xxxwebz #重启 docker restart spug #升级 python3 /data/spug/spug_api/manage.py update docker-compose启动 备份数据库...:/var/lib/mysql # environment: # - MYSQL_DATABASE=spug # - MYSQL_USER=spug # - MYSQL_PASSWORD...=spug - MYSQL_USER=sguser - MYSQL_PASSWORD=sguser@xxx - MYSQL_HOST=172.17.0.10...- MYSQL_PORT=3306 # depends_on: # - db 启动 docker-compose up -d 反向代理 server { listen 443
蓝鲸智云配置平台，以下简称配置平台配置平台里的平台管理功能是管理员的一些操作，比如一些全局纬度的设置1、全局配置-业务通用业务快照名称：通常不需要修改，保持平台搭建好默认业务（蓝鲸）即可拓扑最大可见层级...：可根据实际业务场景自定义调整，需要注意的是，这个是全局的调整，针对每个业务生效的，目前还不支持按业务自定义层级Ps：自定义层级只能在业务跟集群之间添加举个例子：默认部署完配置平台，拓扑层级只有三层：业务...-集群-模块如果想加一层所属部门，那么可以调整最大层级为4或者大于4，然后在模型关系里添加即可2、全局配置-平台信息1.网页title设置可以修改为自己想要的展示信息2.footer信息（页脚）首页的底部信息
2、数据库部署 该运维工程师出场了，项目初期访问量不会很大，所以单台部署足以应对在1500左右的QPS（每秒查询率）。...一方面可以单台运行多个MySQL实例让服务器性能发挥到最大化，另一方面是对数据库进行优化，往往操作系统和数据库默认配置都比较保守，会对数据库发挥有一定限制，可对这些配置进行适当的调整，尽可能的处理更多连接数...有一套基于perl语言开发的主从复制管理工具，叫MySQL-MMM（Master-Master replication managerfor Mysql，Mysql主主复制管理器），这个工具最大的优点是在同一时间只提供一台数据库写操作...5、数据库维护 数据库维护是运维工程师或者DBA主要工作，包括性能监控、性能分析、性能调优、数据库备份和恢复等。...这些都是与运维相关的前沿技术，也是在存储方面主要学习对象，小伙伴们共同加油吧！哪位博友有更好的优化方案，欢迎交流哦。
为了应对大数据量下业务服务访问的性能问题，MySQL 数据库常用的分库、分表方案会随着 MySQL Sharding（分片）的增多，业务访问数据库逻辑会越来越复杂。...传统的自动化部署运维工具如 Puppet / Chef / SaltStack / Ansible 等，由于缺乏状态管理，在节点出现问题时不能及时自动完成故障转移，需要运维人员人工干预。...针对 TiDB 这种复杂的分布式数据库，我们考虑通过对 TiDB 容器化管理，实现以下几个目的： 一、屏蔽底层物理资源 二、提升资源利用率（CPU、内存） 三、提升运维效率 四、精细化管理 因此结合上述需要...数据库管理 [dqqc67ifg0.png] 数据库管理是日常运维很核心的一块，此模块通过任务完成统计信息更新、过载保护、慢查询分析和 SQL 预警。 1....原文链接：雷神Thor—TIDB自动化运维平台 [xtxtlfcjd3.png]
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
腾讯会议
云直播
