Loading [MathJax]/jax/output/CommonHTML/config.js
前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
社区首页 >专栏 >我打算这么做巡检方向的事情

我打算这么做巡检方向的事情

作者头像
jeanron100
发布于 2018-10-24 03:14:46
发布于 2018-10-24 03:14:46
1.1K0
举报

这是学习笔记的第 1769篇文章

巡检的工作其实是比较枯燥和乏味的,在某种程度上,他的工作和监控是有很多交集的,其实在很多公司里面,巡检方向的落地情况其实不容乐观,采用脚本和被动触发的方式效率不高,同时巡检中发现的潜在业务问题和业务部门是隔离的,也就是你在做的事情,业务部门不知道,自然就没法给予充分理解了,所以在问题的处理效率和响应上会是一个黑盒的状态,我觉得这也就是运维方向比较苦逼的一个原因。

我想把巡检的事情改进一下,首先巡检要划分大类,监控巡检,系统巡检和数据库巡检三个维度,然后巡检的意义怎么体现,那就是让业务同学能够体验到,有所帮助,所以是推荐把巡检模块集成到公共平台的,开放给业务部门使用,巡检数据就透明化了,当然可以根据时间范围灵活提取;系统巡检信息和数据库巡检信息可以从业务角度出发,提出更符合业务特性的建议;在展现形式上,需要深度定制巡检报告,可以灵活提取,在问题处理和协作方式上有所改善。

当然我也想了另外几个新的主题方向,也是后续要着力去做的内容。

整体的计划和结构如下,欢迎大家提出建议。

巡检项目规划和设计方案

巡检项目对接监控巡检,系统巡检和数据库巡检三个部分,对于巡检任务会采用任务调度的触发方式。

监控巡检模块开发

开发监控巡检接口,对接MySQL和Redis的系统巡检信息,对于部分数据库巡检指标信息,可以根据时间范围来提取数据。

任务调度对接

完善已有的celery调度,能够通过API的方式对接批量的巡检任务,通过队列方式下发异步执行,提供队列中任务信息的管理

数据库巡检梳理集成

MySQL方向的sys schema模块进行梳理和信息定制

系统巡检模块集成

系统巡检信息梳理,对接SQL r巡检信息至监控系统,系统巡检涉及密码巡检,服务可用性巡检等

巡检报告定制

基于开源项目MySQL_Watcher项目,对于巡检报告进行定制和梳理,生成报告,提供邮件发送功能

对接公共平台提供自助化服务

对接公共平台系统,开放给研发团队,可以根据时间范围抽取信息,报告内日用已邮件形式发送

时间序列故障预测

基于时间序列的数据分析,能够根据历史沉淀数据和当前问题,对问题做同比和环比分析,能够根据数据变化趋势预测问题和问题周期

监控数据图模型分析

对于已发生的历史,抓取常见的场景,基于图模型进行问题的分析,能够得到根因,通过关联树形方式得到更清晰的结构

基于机器学习的故障自愈

对于已监控的问题,将解决问题和过程和方法进行沉淀,基于大量的案例分析进行方案的提取,基于已有的模型形成流程化的自动任务,能够对执行结果进行控制和建议

本文参与 腾讯云自媒体同步曝光计划,分享自微信公众号。
原始发表:2018-10-10,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 杨建荣的学习笔记 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
暂无评论
推荐阅读
编辑精选文章
换一批
运维建设的方向和思路
今天和同事聊需求的时候,突然发现目前我们在做的一些系统,其实他感觉有些迷茫,主要就是一个建设的思路和方向这一块,我想了下,也确实,目前来看,其实系统的功能初期避免不了这几个阶段,目前的做法有点类似,这儿一撮,那儿一撮,看起来没有重点和章法。其实换一个角度来说,就会逐步的明白里面的一些缘由了。
jeanron100
2018/09/29
1.3K0
运维建设的方向和思路
业务巡检系统的整体设计和数据流程
近期也总结了几篇关于巡检的内容,很多同学也很期待,说业务巡检是一个新概念,想做成什么样子,或者说怎么样做起来更好一些。
jeanron100
2018/12/05
2.5K1
2022爱分析 · DataOps厂商全景报告 | 爱分析报告
在后疫情时代,以数据分析为代表的数据消费场景日益丰富,数据驱动业务增长成为市场共识,数据开发管理越来越受到企业决策者重视。
爱分析ifenxi
2023/02/14
6480
数据库自助服务演进初步设计
今天对接完成了SQL自动化上线的一个功能,其实心里还是有点小激动,终于可以很肯定说,数据库方向开始提供的是数据服务,而不是传统意义的工单了。
jeanron100
2019/01/09
7380
数据中台:什么是数据中台
数据中台是全新的架构变革。过去三十年,企业数据管理都以传统的IT架构为基础。每当技术部门为业务部门解决问题时,需要从业务需求的探查、技术壁垒的打通等从上到下各个方面来建设新系统。每个系统的建成都自成一体,各自满足业务部门的需求。这种情况不仅耗费各部门大量的精力也使得各个系统难以打通管理,无法形成更强大的数据能力。
国云
2020/11/20
3.6K0
数据中台:什么是数据中台
数据库纳管平台DBhouse的技术路线与实践
为帮助开发者更好地了解和学习前沿数据库技术,腾讯云数据库特推出"DB · TALK"系列技术分享会,聚焦干货赋能创新,邀请数十位鹅厂资深数据库专家每月和您一起深入探讨云数据库的内核技术、性能、架构、管理运维和最佳实践等。 3月30日第一期分享会“数据库管理与运维”专场已结束,错过直播的小伙伴也不要拍大腿,本期带来腾讯云数据库产品经理陈昊分享《数据库统一纳管平台DBhouse技术路线的最佳实践》的文字回顾。 大家好,我是陈昊,我的分享包括四个部分:产品建设背景,为什么要做DBhouse;产品架构,包括技术架
腾讯云数据库 TencentDB
2022/04/01
9750
数据库纳管平台DBhouse的技术路线与实践
美团MySQL数据库巡检系统的设计与应用
巡检工作是保障系统平稳有效运行必不可少的一个环节,目的是能及时发现系统中存在的隐患。本文介绍了美团MySQL数据库巡检系统的框架和巡检内容,希望能够帮助大家了解什么是数据库巡检,美团的巡检系统架构是如何设计的,以及巡检系统是如何保障MySQL服务稳定运行的。
美团技术团队
2020/06/09
1.5K0
开源协同下的前端量化管理
关于作者 刘勇刚,腾讯支付基础平台与金融应用线\金融市场部\设计中心\前端开发一组  前端开发一组员工 | 导语我将我们组在开源协同下如何进行量化管理建设的一些方案以及思考分享给大家,当然有更好的想法欢迎一起探讨交流 作为公线前端技术支撑职能团队(为不同的业务产品部门提供前端技术开发支撑),为了更高效地服务我们的业务产品,部门采用FT的服务模式(为产品业务部门配备专门开发人员组成的虚拟小组)很好解决了人员调配效率问题,在如此背景下也给组内进行的量化管理工作带来的一些挑战: 1、FT间的业务差异大,如何
腾讯大讲堂
2019/11/22
9520
开源协同下的前端量化管理
五步法,做有用的经营分析
经营分析,是最容易被吐槽“没啥用”的分析内容。为啥?因为很多经营分析报告,就是简单罗列收入、支出、利润这些指标。然后开始:“收入低了,建议搞高”“成本高了,建议搞低”……这种报告能有用就见鬼了。
接地气的陈老师
2022/06/13
6530
五步法,做有用的经营分析
从零开始掌握政务信息化项目开发全流程
政务信息化项目开发全流程包括立项、需求分析、项目规划、系统设计、系统开发、测试与部署、运维与管理、收尾等主要阶段。每个阶段都有其特定的任务和要求,确保项目按照既定的目标和标准顺利进行。
Towserliu
2024/07/27
8990
从零开始掌握政务信息化项目开发全流程
技术分享 | MySQL 数据库巡检需要做些什么?
中移信息平台能力中心数据库团队成员,主要负责 MySQL、TiDB、Redis、clickhouse 等开源数据库的维护工作。
爱可生开源社区
2022/02/09
2K0
一文彻底了解元数据管理与架构设计
数据治理很火,在 DAMA 数据管理知识体系指南中,数据治理位于 “数据管理车轮图” 的正中央,如下图:
kk大数据
2021/12/02
9.4K0
一文彻底了解元数据管理与架构设计
MySQL巡检建议梳理
最近在做业务巡检的工作时,对于巡检信息的展示,对于偏后端的我们是不擅长的,所以我们设计一个基本的原型需求,在专业前端团队的帮助下,迭代了一个初版的demo,整体来看,里面有图,有数字,会比原来单调的报告生动了不少。我想这也是我主导业务巡检这个事情的初衷:让业务看得懂的巡检。
jeanron100
2018/12/18
1.7K0
MySQL巡检建议梳理
2023爱分析·数据开发与管理平台市场厂商评估报告:炎凰数据
利用多种数据智能技术实现数据驱动的分析与决策,已经成为当前企业数字化转型最重要的目标之一。随着数据来源日益丰富、数据体量快速增长,企业对数据的依赖和挖掘愈发深入,不仅带来数据应用场景、数据用户角色的复杂和多元,也使得企业对于数据应用的敏捷性和即时性的要求变得越来越高。 传统的数据开发与管理、数据计算分析正面临着巨大的挑战。为满足日益增长的数据应用需求,爱分析观察到,企业在数据能力建设逻辑上正转向以业务为核心,市场在技术和解决方案的供给上,也正以特定业务价值实现为驱动,变得更分化和聚焦。 数据能力建设核心逻辑转向实现业务价值。企业以往在构建数据能力时,通常是由技术部门或数据部门进行统一规划,并进行数据开发与管理,业务部门被动的使用企业的数据能力。然而,随着业务部门对数据价值的逐渐重视,以及对数据应用需求的快速增加,企业技术部门或数据部门已经不能满足业务部门的用数需求。为赋能业务部门更好的使用数据,企业数据智能基础设施的构建正逐渐转变为以业务部门为核心,如尝试通过DataOps、指标中台等概念实现数据和业务部门之间的高效协作。 面向业务场景价值实现,技术解决方案更细分、更聚焦。过去几年的实践表明,功能大而全的数据中台并不适合所有企业,根据企业内数据源、数据用途的差别,市场上分化出了多种针对特定场景的数据平台解决方案,如针对风控、营销场景的实时数据平台,针对工业、物联网场景的边云协同数据平台,为了加速多数据源联合分析的数据联邦分析平台,为了加速异构数据分析的异构数据即时分析平台等。 基于以上背景,爱分析将数据智能市场划分为数据基础设施和应用解决方案。数据基础设施覆盖数据生命周期的多个技术栈,应用解决方案覆盖多个垂直行业与通用智能解决方案,具体市场划分详见下图。
爱分析ifenxi
2023/05/09
2720
2023爱分析·数据开发与管理平台市场厂商评估报告:炎凰数据
如何破局数据安全“落地难题” | FreeBuf甲方群话题讨论
当前,数据安全已成为数字经济时代网络安全重要而又基础的一环,《网络安全法》《数据安全法》等相关法规对数据安全提供了制度和法律支撑,而在实际安全运营层面,数据安全运营不仅关乎企业的安全命脉,也是为业务及项目赋能的窗口。在上有法规约束,下有企业业务保障所需的双重驱动下,如何做好数据安全运营成为了我们本期话题所要讨论的重点。 《网络安全法》《数据安全法》等法规都要求对数据进行分级分类,在数据安全运营时大家都使用哪些技术或方法来实现? A1: 本质还是数据全生命周期管理每个环节来控制,采集、存储、整合、呈现与
FB客服
2023/03/30
3680
如何破局数据安全“落地难题” | FreeBuf甲方群话题讨论
基于蓝鲸平台实现应用功能自动化拨测
基于蓝鲸平台强大的应用对接和调度能力,集成主流的模拟仿真测试框架Selenium,将各业务应用或管理系统有机集成起来(ESB注册),利用定制化APP实现数据的分析和转换,从而实现应用功能自动化拨测。
嘉为蓝鲸
2018/12/21
2.8K0
【热点】大数据应用于企业运营-傅志华
大数据在企业运营的不同层次有着不同的作用,也对应了不同的应用方法论。本文抽象出大数据应用于企业运营的不同层次以及相应的应用方法——大数据企业运营应用金字塔模型。大数据企业运营金字塔分为7个层面,包括数
小莹莹
2018/04/20
8050
【热点】大数据应用于企业运营-傅志华
鹏华基金研运一体化平台落地实践,探索数字化转型
5月16日,蓝鲸行业说直播专栏又迎来新一期的更新,第八期带来金融基金行业的研运一体化落地实践分享。
嘉为蓝鲸
2024/06/11
2240
鹏华基金研运一体化平台落地实践,探索数字化转型
AI Agents 的开发实践经验
随着人工智能技术的快速发展,AI Agent(智能代理)已经成为企业提升效率、优化流程的重要工具。AI Agent 不仅能够自动化执行任务,还能通过自主决策和工具调用,完成复杂的业务流程。本文将详细探讨 AI Agent 的开发实践经验,涵盖需求分析、技术选型、数据准备、模型训练、开发与集成、测试与优化、部署与推广等多个环节,并结合实际案例,分享从零到一打造商用 AI Agent 的全过程。
用户3484293
2025/03/25
2720
2022爱分析· 银行数字化厂商全景报告
《银行业保险业数字化转型指导意见》《金融科技发展规划(2022-2025年)》等文件对银行业数字化转型做了明确要求,到2025年银行业数字化转型取得明显成效,基于数据资产和数字化技术的金融创新有序实践,个性化、差异化、定制化产品和服务开发能力明显增强,金融服务质量和效率显著提高。
爱分析ifenxi
2022/08/03
6670
2022爱分析· 银行数字化厂商全景报告
推荐阅读
相关推荐
运维建设的方向和思路
更多 >
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档