专栏首页IT技术精选文摘分布式系统关键技术之全栈监控

分布式系统关键技术之全栈监控

全栈监控

一个好的监控为了两个场景而设计

体检

容量管理 提供一个全局的系统运行时数据展示,可以让其它工程师知道是否需要加机器或资源

性能管理 可以通过查看大盘,找到系统瓶颈,并能有针对性的优化

急诊

定位问题 快速的暴露并找到问题的发生点,帮助技术人员诊断问题

性能分析 当出现非预期流量提升时,快速找到系统节点

其架构可以用下图表示

多层体系监控架构图

包括三层

1)基础层:监控主机和底层资源。比如cpu、内存、网络吞吐、硬盘I/O、硬盘使用等 2)中间层: 包括nginx、Redis、MQ、MySQL、Tomcat等 3)应用层:HTTP访问的吞吐量、响应时间、返回码、调用链路分析、性能瓶颈,还包括用户端的监控等 此外,有了这些监控后,需要将数据能落实到日志系统,需要 1)日志数据格式化 2)监控数据格式标准化 3)统一的监控平台 4)统一的日志分析

一个好的监控系统技术要点

  1. 服务链路跟踪。从对外的API开始,到对应的服务器,最好到落地的数据库,包括所有的中间件,比如缓存、消息等。开源项目Zipkin实现了链路跟踪功能,此外Java类的服务还可以用字节码技术做到代码无侵入式。如下图所示
  1. 服务调用时长分布。同样的,用Zipkin就可以做到
  1. 服务TOP N视图,包含三种排名方法:a)按调用量排名 b) 按请求最耗时排名 c)按热点排名
  1. 数据库操作关联。我们可以很方便的通过JavaAgent字节码注入技术拿到JDBC执行数据库操作的执行时间
  1. 服务资源跟踪。我们服务可能运行在物理机上,也可能在虚拟机里,还可能是Docker容器中,而我们需要把这些资源关联起来(CPU,MEM,I/O,DISK,NETWORK)

而一旦有了上述数据我们就可以达到如下目标。

  1. 一台服务器挂掉是因为CPU或I/O过高的时候,我们马上可以知道其会影响到哪些对外服务的API
  2. 当一个服务过慢的时候,我们马上能看出其是否在做Java GC,或是其所在的节点是否有资源不足的情况
  3. 当发现一个SQL过慢的时候,我们立马知道其影响的是哪个API
  4. 当发现一个消息队列拥堵时,我们立马能知道会影响哪些对外服务的API 我们可以用一个图来表示

本文分享自微信公众号 - IT技术精选文摘(ITHK01)

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2018-10-28

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 快速正确的搭建一个微服务架构需要了解的那几个点

    用户1263954
  • 分布式系统关键技术之服务调度

    服务关键程度要通过对业务的梳理来发现。服务依赖关系用Spring Cloud的一套方法就能够非常好的解决,但是千万不要出现循环依赖,解决方式是通过第三方的消息队...

    用户1263954
  • 微服务简介

    我们先来看看你为什么要考虑使用微服务。 构建单体应用 让我们假设你们要开始制定一个全新的出租车招标程序,旨在与Uber和Hailo进行竞争。经过一些初步会议和...

    用户1263954
  • Spring Cloud微服务如何实现熔断降级?

    在基于Spring Cloud的微服务架构体系下,按照系统功能边界的不同划分,原先大而全的系统会被拆分为多个不同的微服务,而相应的微服务会提供一组功能关联的服务...

    用户5927304
  • 撑起整个互联网的6大服务——Web API

    Web API是网络应用程序接口。包含了广泛的功能,网络应用通过API接口,可以实现存储服务、消息服务、计算服务等能力,利用这些能力可以进行开发出强大功能的we...

    BestSDK
  • “永恒之蓝&漏洞的紧急应对--毕业生必看

    七夜安全博客
  • 【DB笔试面试761】在Oracle中,DG中GAP有几种解决方案?

    当主库的某些日志没有成功传送到备库,那么这时候就发生了归档裂缝(Archive Gap)。目前Oracle提供了两种日志GAP的检测和处理机制,分别是自动GAP...

    小麦苗DBA宝典
  • 物联网时代的嵌入式开发平台

    作为典型的嵌入式开发,物联网应用的开发与互联网应用从硬件配置到运行环境有巨大的不同。本文介绍了当前物联网开发者面临的挑战,并分析IoT时代完整的开发平台至少需要...

    CSDN技术头条
  • iOS Autolayout 修改约束优先级崩溃问题

    ZY_FlyWay
  • 信用卡违约预测模型的开发思路

    目前以金融业为代表的各行各业使用的评分模型的原型都是基于美国FICO公司开发的评分模型,每个企业会将FICO的模型做些变形,从而形成自己需要的模型。

    许卉

扫码关注云+社区

领取腾讯云代金券