演示示例说明

最近更新时间:2019-10-23 17:33:20

为了方便大家快速了解流计算 JAR 作业的创建和开发过程,这里设计了一个简单的作业监控告警示例。下文主要介绍了在独享集群上创建一个 JAR 作业的操作流程。

操作流程

JAR作业示例流程

示例介绍

在企业的运营系统中,监控告警尤为重要,当作业出现问题或者将要出现问题时,运营系统及时发送告警通知运维人员,运维人员根据反馈信息来排查作业出现问题的原因。运维人员需要实时监控各个作业的运行情况,如 CPU、内存情况等。

  • 示例名称:作业监控告警。
  • 示例目标:发现内存使用率过高的作业,及时告警通知运维人员。
  • 示例方法:使用 CKafka 作为流式数据源,来接收作业内存使用率的实时数据,通过流计算比较内存使用率与内存使用阈值,对超过阈值的作业进行告警。

示例架构

流计算 JAR 作业使用 CKafka 作为数据输入管道,使用云数据库 MySQL 作为输入数据维表,并将结果输出到 CKafka。

JAR作业示例架构图

消息队列 Ckafka 源表的表结构:

字段名 类型 描述
JobName varchar 作业名
UsedGB double 内存使用大小
TotalGB double 内存总大小
Type Integer 监控值类型

云数据库 MySQL 维表的表结构:

字段名 类型 描述
Value double 内存使用阈值
Type Integer 阈值类型

消息队列 CKafka 结果表的表结构:

  • 中间结果表:用于存放中间计算结果,内存的使用率。
    字段名 类型 描述
    JobName varchar 作业名
    Usage double 内存使用率
    Threshold double 内存使用阈值
  • 最终结果表:用于存放存放最终计算结果,作业是否需要触发告警。
    字段名 类型 描述
    JobName varchar 作业名
    AlertOrNot Integer 是否需要告警