专栏首页架构师玄学之路全链路监控系统整合业务系统如何高可用

全链路监控系统整合业务系统如何高可用

参照zinpkin全链路监控系统的弊端:监控系统收集器,通过集成SpringBoot插件,耦合侵入业务,和应用部署在同一个jvm中,影响洪峰下的业务系统的高可用性。

高可用设计方案:

保障高可用必须牺牲一致性

目前全链路架构方案的改进:

方案:将影响业务性能的模块和应用解耦,以java agent和应用部署在同一台服务器上,保证进程隔离。

搜集器单独部署,业务侵入以java agent方式侵入。

优点:对业务零侵入,性能损耗也比较小

可以借鉴Pinpoint的设计思想,Pinpoint架构:

  • HBase (用于存储数据)
  • Pinpoint Collector (信息的收集者,部署在tomcat中)
  • Pinpoint Web (提供WEB_UI界面,部署在tomcat中)
  • Pinpoint Agent (附加到 java 应用来做采样)

监控系统es存储优化

es客户端优化:

1)es客户端使用的是TransportClient,其实为了提高kafka的es消费者消费的速度,减少日志洪峰下,kafka日志消息的堆积,可以考虑换用Node Client。

TransportClient作为es集群和应用程序之间的通信层,是集群外部的,和集群是完全解耦的,适合大批量的客户端连接,轻量级客户端,执行性能要比Node Client差一点。

Node Client(节点客户端)把应用程序当作一个集群中的客户端节点(非data和master),因为他是集群内部的一个节点,所以知道整个集群的状态,通信更加高效。

2)在需要与集群解耦的业务场景下,使用TransportClient,为了提升效率,可以考虑将kafka和es通信的通道抽离成一个基础服务组件,单独分布式部署(高可用架构部署),一个节点一个客户端,负载均衡,比如有3个节点,这样就可以并行的消化生产者消息,到es集群,从而解决高流量日志消息对业务系统的影响。

本文分享自微信公众号 - 架构师玄学之路(andy_aty),作者:胡弦

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2018-08-01

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 微服务架构-SpringBoot2.0.3源码之web容器篇(二)

    用户6969969
  • 边车设计模式

    将应用程序的组件部署到单独的流程或容器中,以提供隔离和封装。这种模式还可以使应用程序由异构组件和技术组成。

    用户6969969
  • 冗余和故障转移

    高可用设计的核心思想是冗余和故障转移,具体分析下业界比较流行的高可用中间件框架的高可用实现思想。

    用户6969969
  • 容器时代的DevOps部署

    本文目录: 一、企业应用的部署发展 二、普元容器云与DevOps的部署设计 三、面向微服务的部署设计 四、容器组装化部署 五、容器云集成之路 六、结语 一、企业...

    yuanyi928
  • Tomcat 部署详解

    前篇大概讲过了tomcat的发布和部署,以及测试。 本篇详细介绍下tomcat的部署相关的内容,本篇主要内容: 1 介绍下部署相关的内容,需要安装的文件以...

    用户1154259
  • Tomcat 部署详解

    前篇大概讲过了tomcat的发布和部署,以及测试。 本篇详细介绍下tomcat的部署相关的内容,本篇主要内容: 1 介绍下部署相关的内容,需要安装的文件以...

    用户1154259
  • 使用Jexus 5.8.2在Centos下部署运行Asp.net core

    晓晨
  • 哪种云服务器适合中小型企业使用?

    云服务器的操作简单、低成本的特点成为了小型企业选择服务器的首选。它支持随时随地过任何移动设备获得访问权限。云计算为小型企业提供了以前不敢相信的技术,并让他们可以...

    用户6592847
  • Serverless 的前景和机会 |社区精选文章

    本文为 Serverless 社区成员撰稿。作者谢扬,蒸汽记忆创始人,SoLiD 中文社区(learnsolid.cn)发起人。目前聚焦研发一款 IDaaS ...

    腾讯云serverless团队
  • 聊聊微服务集群当中的自动化工具

    本篇博客主要介绍了自动化工具这个概念,在微服务集群当中的作用,算抛砖引玉,欢迎大家提出自己的见解。

    SH的全栈笔记

扫码关注云+社区

领取腾讯云代金券