实时监控系统设计

  随着系统业务复杂度的提升,系统复杂度提升,需要对整个系统的功能、性能、可用性,以及服务、

web、webservice、网页等等多个角度进行监控。

      1、监控设计为两个部分一部分为监控客户端部分,应用调用jar包或其他形式实现对单机节点的监控、

通过上报汇总的形式实现对大规模集群实现,非实时监控一般晚于1到5分钟的状况可以监控到。业务监控

采用每个服务器配置监控客户端,客户端负责写日志,并且定时将日志汇总日志中心,日志中心进行展示

,日志展示会存在一定延时。

       监控客户端可以实现为jar包,供需监控系统调用,实时写日志到文件系统比如每分钟生成一个日志

文件,监控jar包每个几十秒启动一次,扫描非当前系统正在写的日志文件(重写log4j类来实现)避免

同时读写一个文件产生异常情况,按行读取异步通过消息队列或发送实时收集接口到日志中心,删除处理

完成日志。

      监控为实现数据不丢失用于实时计算和离线计算,可以通过nginx代理形式,实现上边写文件形式来

保证一份数据是稳定的非常全的数据。

     2、某个用户调用路径监控可根据调用参数增加debug=true,关键方法均将返回值增加到返回值得

hashmap中,这个问题需要避免被外界恶意调用,恶意调用会将整个路径暴露,可以对debug调用ip或

其他可验证身份的东西做相应限制。

     3、实时监控系统,大众点评开源cat系统。

     4、数据传输如特别在意时效性,可将传输协议用udp,同事阿力提出的想法,很赞。

       未完待续...

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏优启梦

使用Referer Meta标签控制referer 来源

本文描述了一个关于 http 协议中 referer 的 metadata 参数的提议,使用这个 metadata 参数,html 文档可以控制 http 请求...

2955
来自专栏北京马哥教育

网站打开太慢可能性及排查分析

一、网络问题 1、临时性 检查:ping, mtr,dig,dig+trace 等命令,检查网络状况,DNS等 解决:联系机房或视具体情况而定 eg:http:...

4186
来自专栏散尽浮华

crontab日常使用梳理

在日常的运维工作中,对crontab定时任务的制定是再寻常不过的了。根据以往的使用经验梳理如下: 基本格式 : *  *  *  *  *  command 分...

4118
来自专栏

即时通信服务器架构的一些思考

对于一个即时通信服务器来说,在用户量少的时候,一台服务器就足以提供所有的服务。而这种架构也最简单,举个例子,用户A与用户B互为好友,A向B发消息,服务器接收到消...

2385
来自专栏编程微刊

[慕课笔记] node+mongodb建站攻略

2535
来自专栏

即时通信服务器架构的一些思考

对于一个即时通信服务器来说,在用户量少的时候,一台服务器就足以提供所有的服务。而这种架构也最简单,举个例子,用户A与用户B互为好友,A向B发消息,服务器接收到消...

2869
来自专栏FreeBuf

ossec入侵检测日志行为分析

上次说写的ossec连载,不幸因为工作太忙夭折了,最近缓过神来决定补上第2篇,言归正传,ossec的功能主要是为了防御及抓坏人,但因为攻防之间本来就信息不对称所...

55410
来自专栏java思维导图

后端架构高可用可伸缩

考虑一个问题,两台机器,两个公网IP,DNS把域名同时定位到两个IP,这算高可用吗

1432
来自专栏GreenLeaves

Oracle PL/SQL编程之过程

1、简介 过程用于执行特定的操作,当建立过程时,既可以指定输入参数(in),也可以指定输出参数(out),通过在过程中使用输入参数,可以将数据传递到执行部分,通...

2056
来自专栏编程

Python的黑客技能:快速提取Windows密码和Wi-Fi密钥凭证!

LaZagne比较适合黑客和安全管理员,可以在Linux,Windows和MacOS上运行,而且几乎适用于每一个目标。Lazagne是后期开发模块,包含在远程访...

4887

扫码关注云+社区

领取腾讯云代金券