配置采集作业运行日志

最近更新时间:2024-01-05 14:06:41

我的收藏
用户可以为 Oceanus 集群设置1个或多个 CLS 日志主题,供不同作业的运行日志灵活选用,并在作业的日志页面方便地查看和检索。与此同时,Oceanus 集群也可以使用 COS 存放作业运行日志,这种方式相较于 CLS 来说成本更低,但无法实时地查看和检索作业日志。用户还可以使用 ES Serverless 作为运行日志采集, 这种方式也能对日志作实时检索。

集群绑定 ES Serverless

在集群详情页面, 可以设置集群绑定的 ES Serverless Index, 用于作业运行日志的采集和检索, 目前仅支持部分地域, 如果您依然希望使用 CLS , 可以 提交工单 联系我们。

创建 ES Serverless Space 和 Index




绑定需要一定时间, 等绑定完成后, 在作业参数里可以选择采集方式为 ES Serverless 。

集群绑定 CLS

在集群详情页面,可以设置集群绑定的 CLS 日志集和日志主题,并且可以绑定多个,最多绑定3个 CLS 日志主题。

创建日志集和日志主题

用户可以在 Oceanus 控制台新建专属的日志集和日志主题,创建的日志主题都会带有"Oceanus_"前缀;在选择日志集时,可以新建,也可以选择现有的日志集。 流计算 Oceanus 创建的日志主题有特殊的系统设置,不建议用于其他产品。



选择现有日志主题

用户在绑定 Oceanus 集群的日志主题时,可以选择现有的日志主题,但只能选择在 Oceanus 控制台新建的日志主题。



集群设置默认运行日志采集方式

为节省作业参数配置时间,可以为集群设置默认的作业采集方式,设置默认采集方式后,下一次新建作业会使用默认配置中的日志集和日志主题。



作业设置运行日志采集方式

当用户选择运行日志采集方式为 ES Serverless 时, 作业参数配置时需要选择采集方式为 ES Serverless, 当然也可以设置默认采集方式。





当用户选择运行日志采集方式为 CLS 时,由于在 Oceanus 集群可以设置绑定多个 CLS 日志主题,在新建作业时,作业参数配置需要选择作业运行日志具体上报到哪一个日志主题,当然也可以设置默认采集方式。



当用户选择运行日志采集方式为 COS 时,作业日志会默认放到用户创建集群时绑定的 COS 中,日志在 COS 中存放的路径为 job-running-log/




作业设置运行日志级别

在作业参数页面,支持配置当前作业日志级别,目前可选的级别有:DEBUG , INFO , WARN , ERROR ; 作业配置日志级别之后,作业日志会按照配置的级别输出,如果不支持选择日志级别,可以 提交工单 申请升级。




作业设置类日志级别

在作业参数页面,支持配置当前作业类日志级别,目前可选的级别有:TRACE , DEBUG , INFO , WARN , ERROR
作业配置类日志之后,作业日志会按照配置的级别输出,如果不支持配置类日志级别,可以 提交工单 申请升级。



编辑日志采集级别:




批量修改作业日志级别

如果您需要批量修改多个作业的日志采集级别的话,可以在作业管理页面的批量选项下拉列表中点击批量修改日志级别按钮。然后选择日志级别(目前可选的级别有:DEBUG , INFO , WARN , ERROR)后点击确定按钮即可完成批量配置,作业日志会按照配置的级别输出,如果不支持选择日志级别,可以 提交工单 申请升级。



批量修改日志级别: