作业查看和操作

最近更新时间:2019-10-23 17:35:01

流计算作业发布成功后,会进入“运行中”状态。此时,可以对其进行运维操作(例如暂停、停止等),以及查看各项运行时的监控指标。当作业被暂停后,可以后续从暂停的状态恢复;当作业被停止后,也可以重新点击启动。

暂停

概念解析

作业的“暂停”,表示创建一个快照点,以保存作业当前的运行状态(数据源消费的偏移量、运行中的状态数据,以及数据目的的一些信息等),然后结束这个作业的运行。用户可以稍后从这个暂停点进行恢复。

操作步骤

当一个作业处于运行中状态时,可在流计算的【作业管理】>【操作】中单击【更多】,然后在下拉菜单中选择【暂停】。随后,作业的状态会变成“操作中”。一段时间后,最终状态会变成“暂停”,此时表示作业已经成功被暂停。

继续

概念解析

作业的“继续”操作与“暂停”相对应,表示将作业从上次暂停的快照点恢复,作业的各种状态也会和暂停前保持一致,然后开始继续数据处理过程。

注意:

如果上游数据源的消费偏移量所处的位置已经无法消费(例如在消费 CKafka 时,超过了消息过期时间,之前的旧数据已经过期),那么仍然会导致部分数据丢失。因此,请确保暂停的时间不要超过外部数据源中数据的过期时间。

操作步骤

当一个作业进入“暂停”状态后,如果需要继续运行,可在流计算的【作业管理】>【操作】中单击【更多】,然后在下拉菜单中选择【继续】。随后,作业的状态会变成“操作中”。一段时间后,最终状态会变成“运行中”,此时表示作业已经恢复成功,正在从上次停下的快照点开始,继续开始处理数据。

停止

概念解析

作业的“停止”操作表示终止它的执行,并丢弃所有运行时的状态。

注意:

如果您希望保留作业当前的运行状态,并让作业下次启动时从上次停下的地方开始消费,请不要选择停止操作,而要选择上文提到的“暂停”。

操作步骤

当一个作业进入“运行中”状态后,如果需要停止,可在流计算的【作业管理】>【操作】中单击【更多】,然后在下拉菜单中选择【停止】。随后,作业的状态会变成“操作中”。一段时间后,最终状态会变成“停止”,此时表示作业已经完全停止运行。

运行

概念解析

作业的“运行”操作与“停止”相对应,表示全新启动一个新的作业运行实例。此时,对于 SQL 作业,会弹出一个对话框,用户可以选择消息队列 CKafka 开始消费的时间点,可以选择从最新的时间点消费,也可以从最早的时间点消费,还可以从指定的时间点开始消费;对于 JAR 作业,则直接开始新的一次运行。

注意:

消费时间点的选择依赖于上游消息队列,如果设置的消息过期时间很短,那么即使选择从最早的时间点开始消费,那么也有概率无法读取到所有预期的历史数据。

操作步骤

当一个作业进入“停止”状态后,如果需要继续运行,可在流计算的【作业管理】>【操作】中单击【更多】,然后在下拉菜单中选择【运行】。随后,作业的状态会变成“操作中”。一段时间后,最终状态会变成“运行中”,此时表示作业已经启动成功。

特别提示

在作业的操作过程中,如果遇到任何异常情况,则会回退到作业的实际状态(例如,如果作业在暂停时异常退出,则状态会显示为“停止”;如果作业暂停不成功,且仍在运行,则显示为“运行中”),并在状态栏右侧显示一个三角形的叹号⚠,当鼠标移过时,会显示出具体的报错信息,如下图:

在作业的运行过程中,请务必谨慎修改上下游对接产品的配置,包括但不限于对 CKafka 数据源和数据目的所使用的 Topic 做删除、扩容;以及对 MySQL 数据源和数据目的所使用的库表做锁表、修改表结构、新增约束、停机等,否则会对正在运行的流计算作业造成影响,导致数据不完整或作业异常。

作业详情页

在【作业管理】页,点击作业列表中的作业名,可以打开【作业详情】页查看作业的详情信息。

解释
作业名称 该作业的名称
作业 ID 该作业的 Serial ID 信息,通常以 cql- 开头
作业类型 作业的类型,目前有 SQL 和 JAR 两种类型
运行状态 作业的当前状态,例如运行中、停止、暂停等等
地域 作业运行的集群所在的地理大区,例如广州、上海、北京等等
可用区 作业运行的集群的可用区,例如上海三区
创建时间 作业被创建的时间点
累计运行时长 作业历史上总共运行的时长
开始运行时间 作业本次开始运行的时间点
运行时长 作业本次运行所持续的时长
运行 CU 作业本次运行所占用的 CU 数

线上运维页

SQL 作业的线上运维

对于 SQL 作业的线上运维页,可以查看本作业的 SQL 代码,还可以查看作业的实时运行结果、源数据等内容。

注意:

作业的实时运行结果展示、源数据展示功能目前只支持 CKafka,对于 MySQL、PostgreSQL 等其他数据源暂不支持。

JAR 作业的线上运维

对于 JAR 作业的线上运维页,目前可以查看“资源关联”信息,即该作业所绑定的 JAR 包名;还可以查看“配置信息”,目前有 MainClass(JAR 包的主类),主类入参等信息。更多功能即将推出。