前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >ETL大数据统一批量调度监控TASKCTL实时监控平台

ETL大数据统一批量调度监控TASKCTL实时监控平台

原创
作者头像
taskctl官方频道
发布2022-05-18 10:29:53
1.4K0
发布2022-05-18 10:29:53
举报

图形监控

视图区域由左侧的作业容器信息面板和右侧的作业关系视图组成。

​作业容器信息面板提供了作业容器快速切换选择组件和作业容器的命令菜单。还展示了当前选定的作业容器基本信息,运行信息、状态信息。采用圆环图展示了作业运行状态数量、比例统计信息。

作业关系视图展示作业容器当前选定的模块视图,可以通过工具栏中的模块选择组件,切换到当前作业容器的其它模块视图,默认展示主模块视图。

产品官网:www.taskctl.com

作业关系视图有两种形式,由当前的作业容器类型决定。主控流和作业流采用从开始节点到结束节点方向的作业流关系视图。定时器采用按监控标签分组的作业组关系视图。如下图所示:

作业流程关系视图展示了作业执行顺序流向,具有如下功能特征:

1. 自动规则展示:采用自动排列方式,图形不会出现线条交叉的情况,并清楚地展示了作业节点之间的串并关系。

2. 钻取展示方式:某些作业容器难免会出现子模块数量多,层次深的情况。双击 include 节点下钻到子模块,双击flow节点下钻到引用的子流程。

3. 节点名称和描述切换:点击视图区域的扩展功能按钮“显示名称/备注”,快速切换带有技术特征的作业名称与带有业务特征的作业描述。

4. 作业图标自定义:节点方块内的字体图标,有效区分不同的作业类型。

5. 智能作业状态:节点的运行状态由不同颜色的圆点展示。针对不同的状态,智能暂时相关联的信息和操作。

6. 作业状态快捷面板:点击节点图标弹出节点的状态面板,简要的展示了当前作业的关联操作,和关联的运行信息。”快速展开作业的命令菜单。

7. 图形节点搜索定位:在工具栏“作业节点搜索框”输入节点名称关键词(支持不区分大小写的模糊匹配),弹出匹配的节点列表。点击列表项后自动定位到作业节点位置。

8. 正执行作业节点快速定位:在作业容器运行过程中,往往对正执行及异常的作业最为关注。但作业节点的状态不停改变,如果长时间不关注页面将失去监控焦点。

9. 图形的缩放:在面对大量作业组成的流程图中,页面不能完全显示所有作业关系。

​作业组关系视图的功能特征与作业流程关系视图类似,采用分组的方式把不同业务或技术特征的作业区分开来。根据定时作业的技术特征,在节点中的左上角展示了定时频率,底部色块根据作业的运行状态展示了不同的信息。如:上次运行状态、当前运行状态、异常状态以及下次运行预计时间等。

在图形中对作业容器的一些快捷操作

启动作业容器

在作业容器未运行的情况下,点击页面上方中部的“已退出”按钮,打开启动容器对话框。

选择启动模式

  • 正常模式:正常模式启动的作业容器,流程将从开始节点运行到结束节点。
  • 自由模式:自由模式启动的作业容器,需要进一步选择流程的任意节点或分支运行。
  • 虚拟模式:虚拟模式启动的作业容器,不会真实运行作业,仅模拟运行情况。可以选择虚拟运行的速度倍率。

注:定时器仅支持正常模式。

重设变量值

为即将启动的作业,重新设置运行时的工程变量和私有变量。平台变量不能变更运行值。

​重置作业容器

在作业容器停止的情况下,执行重置操作,设置作业容器内所有节点的运行状态为初始化状态。

​重载作业容器

在作业容器停止的情况下,执行重载操作,加载最新发布的作业容器版本,同时作业状态也将重置为初始化状态。

作业属性侧边窗口

作业状态快捷面板展示了作业常用的状态、命令菜单及简单属性。打开属性侧边窗口。

​作业运行信息分为作业的动态的运行时属性,和静态的基本属性。

动态运行属性包括:作业容器运行后生产的运行状态、起止时间、平均耗时、最近耗时、预估耗时、运行节点,以及用于人工干预的作业禁用或锁定等。

静态基本属性包括作业的执行计划,条件,容错,循环等调度策略属性。还包括引用的参数和作业的代码块。点击链接“去设计作业”,能够方便从监控环境Monitor跳转到设计环境Designer的作业位置。

​另外还提供了列表视图,用于列表形式查看当前作业容器的作业运行情况。

工程监控

工程监控是以“应用工程”为口径,以作业运行状态为切面。实时统计每个“应用工程”下,作业不同执行状态的数量和汇总情况,是最上层次的统计方式。

​点击“作业状态数字”,跳转到“作业监控”页面,展示当前工程下指定状态的作业监控列表数据。

​双击数据行打开当前应用工程的侧边窗口,采用圆环图展示当前工程的作业运行状态统计比例和数量。

​点击侧边窗口右上角打开其命令菜单,可直接跳转到对应的作业容器页面,作业列表页面已经工程变量页面。

容器监控

容器监控以“作业容器”为口径,以作业运行状态为切面。实时统计每个“作业容器”下,作业不同执行状态的数量和汇总情况。另外,作业容器列表还展示了作业容器的运行状态和批次信息。

通过工具栏的“应用工程”和“容器类型”,可进一步筛选符合条件的列表数据。

点击“作业状态数字”,跳转到“作业监控”页面,展示当前作业容器下指定状态的作业监控列表数据。

双击数据行打开当前作业容器侧边窗口,采用圆环图展示当前作业容器的作业运行状态统计比例和数量。

​点击侧边窗口右上角按钮打开其命令菜单,对当前作业容器进行管控操作和相关页面的跳转。

​作业监控

作业监控以列表形式展示了作业实时运行状态的详细信息。包括作业动态的运行信息和静态的基本信息。工具栏的“筛选条件”提供了多种条件过滤方式:快速条件,应用工程、作业容器及类型、作业类型、运行代理、以及运行状态。

​双击数据行打开当前作业的侧边窗口

​节点监控

平台节点又叫控制节点,展示了平台整体的网络架构拓扑图,实时监控各个控制节点的健康程度,以及各个节点的资源利用率。

​点击节点弹出节点的状态面板,简要的展示了当前节点的基本信息,逻辑资源和物理资源的使用情况。

​消息监控

消息监控以消息种类分组的形式展示了当前用户订阅的平台消息。在工具栏中按照消息分类筛选显示的消息。每一种消息有独特的批量操作命令,例如:当接收到多条作业失败的消息,在作业失败消息种类分组上执行批量跳过或重试的命令。

展开消息种类分组后列出消息项。双击消息项读取该消息,并打开选定消息的侧边窗口。包括消息内容和关联操作命令等。

用户消息读取后,自动转存到已读历史消息。可以通过内容页面右上角按钮切换到消息的历史信息列表。通过工具栏的消息分类和读取时间的范围,筛选显示历史消息。

​消息设置

个性化订阅平台内需要接收的消息种类。订阅按钮打开后,才能在平台中收到该消息种类。推送渠道对应了平台管理 - Admin中设置的用户手机号码和邮箱地址。配置好平台的短信或邮件接口后,平台消息才会推送到对应的渠道。

​业务链设置

被调度器(主控流 / 定时器)引用调度的作业流(可嵌套),或单独的主控流称之为业务链。平台可以计算出业务链开始位置和所有作业运行状态。从而分析出这条业务链的运行时长,运行进度,运行成功率,运行效率等多种调度指标。

​可以对业务链的名称(通常是主控流或作业流的名称)进行重定义。

对平台自动计算的业务开始点进行调整,确定更符合业务链实际开始的标识作业。

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • 图形监控
    • 启动作业容器
      • 重设变量值
      • ​重置作业容器
        • ​重载作业容器
          • 工程监控
            • 容器监控
              • ​作业监控
              • ​节点监控
                • ​消息监控
                • ​消息设置
                • ​业务链设置
                相关产品与服务
                容器服务
                腾讯云容器服务(Tencent Kubernetes Engine, TKE)基于原生 kubernetes 提供以容器为核心的、高度可扩展的高性能容器管理服务,覆盖 Serverless、边缘计算、分布式云等多种业务部署场景,业内首创单个集群兼容多种计算节点的容器资源管理模式。同时产品作为云原生 Finops 领先布道者,主导开源项目Crane,全面助力客户实现资源优化、成本控制。
                领券
                问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档