分布式系统关键技术之全栈监控

全栈监控

一个好的监控为了两个场景而设计

体检

容量管理 提供一个全局的系统运行时数据展示,可以让其它工程师知道是否需要加机器或资源

性能管理 可以通过查看大盘,找到系统瓶颈,并能有针对性的优化

急诊

定位问题 快速的暴露并找到问题的发生点,帮助技术人员诊断问题

性能分析 当出现非预期流量提升时,快速找到系统节点

其架构可以用下图表示

多层体系监控架构图

包括三层

1)基础层:监控主机和底层资源。比如cpu、内存、网络吞吐、硬盘I/O、硬盘使用等 2)中间层: 包括nginx、Redis、MQ、MySQL、Tomcat等 3)应用层:HTTP访问的吞吐量、响应时间、返回码、调用链路分析、性能瓶颈,还包括用户端的监控等 此外,有了这些监控后,需要将数据能落实到日志系统,需要 1)日志数据格式化 2)监控数据格式标准化 3)统一的监控平台 4)统一的日志分析

一个好的监控系统技术要点

  1. 服务链路跟踪。从对外的API开始,到对应的服务器,最好到落地的数据库,包括所有的中间件,比如缓存、消息等。开源项目Zipkin实现了链路跟踪功能,此外Java类的服务还可以用字节码技术做到代码无侵入式。如下图所示
  1. 服务调用时长分布。同样的,用Zipkin就可以做到
  1. 服务TOP N视图,包含三种排名方法:a)按调用量排名 b) 按请求最耗时排名 c)按热点排名
  1. 数据库操作关联。我们可以很方便的通过JavaAgent字节码注入技术拿到JDBC执行数据库操作的执行时间
  1. 服务资源跟踪。我们服务可能运行在物理机上,也可能在虚拟机里,还可能是Docker容器中,而我们需要把这些资源关联起来(CPU,MEM,I/O,DISK,NETWORK)

而一旦有了上述数据我们就可以达到如下目标。

  1. 一台服务器挂掉是因为CPU或I/O过高的时候,我们马上可以知道其会影响到哪些对外服务的API
  2. 当一个服务过慢的时候,我们马上能看出其是否在做Java GC,或是其所在的节点是否有资源不足的情况
  3. 当发现一个SQL过慢的时候,我们立马知道其影响的是哪个API
  4. 当发现一个消息队列拥堵时,我们立马能知道会影响哪些对外服务的API 我们可以用一个图来表示

原文发布于微信公众号 - IT技术精选文摘(ITHK01)

原文发表时间:2018-10-28

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

编辑于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏微信小程序开发

开发小程序被问到最频繁的问题(下)

连胜老师在自己的微信小程序开发群里,也经常帮人解答问题,在这里整理一下最频繁被问到的小程序问题。本篇是《开发小程序被问到最频繁的问题(上)》的续篇。 9、用户不...

1.2K90
来自专栏Rainbond开源「容器云平台」

技术解读Rainbond ServiceMesh微服务架构_开源PaaS Rainbond

服务发现和注册、弹性伸缩与负载均衡、容错处理(断路器与限流)、监控与报警、数据存储与共享、日志分析……

447110
来自专栏架构师之路

到底什么时候该使用MQ?

一、缘起 一切脱离业务的架构设计与新技术引入都是耍流氓。 引入一个技术之前,首先应该解答的问题是,这个技术解决什么问题。 就像微服务分层架构之前,应该首先回答,...

69050
来自专栏服务端技术杂谈

扫盲贴-分布式数据一致性:两阶段提交,三阶段提交

分布式一致性 分布式系统中,为保证数据的高可用,通常将数据保留多个副本,这些副本放置在不同的物理机上。 什么是数据一致性 在数据有多副本的情况下,如果网络,服务...

68060
来自专栏Eternally运维

FinalShell – SSH终端,同屏SFTP,同步目录切换一体化服务器管理

简介 FinalShell是一体化的的服务器,网络管理软件,功能强大的开发,运维工具,充分满足开发,运维需求.

24910
来自专栏微信小开发

整合微信小程序的Web API接口层的架构设计

来源:伍华聪 cnblogs.com/wuhuacong/p/7267333.html 例如:《C#开发微信门户及应用--微信各个项目模块的定义和相互关系》介绍...

446100
来自专栏Java架构沉思录

CDN为什么这么快

CDN全称:Content Delivery Network或Content Ddistribute Network,即内容分发网络。

48420
来自专栏.NET技术

关于分布式事务、两阶段提交协议、三阶提交协议

随着大型网站的各种高并发访问、海量数据处理等场景越来越多,如何实现网站的高可用、易伸缩、可扩展、安全等目标就显得越来越重要。

52820
来自专栏小狼的世界

PHP开源Apache日志分析工具收集与比较

我们知道已经有很多像Awtstat这样的使用perl、c或者c++开发的强大的日志分析工具,但是同样也有很多使用PHP开发并且开源的日志分析软件,今天我就收集了...

39220
来自专栏杨建荣的学习笔记

运维系统重构的设计思路

最近要对已有的运维平台做重构工作,为什么要做重构,主要还是因为各种各样的原因,需要对已有的问题改进,修复历史遗留包袱。这个时间迟早都会来到,还不如自己自觉一点,...

17220

扫码关注云+社区

领取腾讯云代金券