操作场景
提供快速查看 Spark 作业的提交用户、状态、持续时间等多项明细指标,并支持作业级历史任务对比、作业洞察、任务执行信息等。
操作步骤
1. 登录 EMR 控制台,在集群列表中单击对应的集群 ID/名称进入集群详情页。
2. 在集群详情页选择作业管理 > Spark,即可查看查询管理,查询相关 Spark 作业信息、任务信息查看、应用执行结果洞察及应用监控对比等。
作业级别提供用户、应用名、队列名、作业类型、持续时间及相关吞吐资源等多维信息筛查。
![](https://qcloudimg.tencent-cloud.cn/image/document/8048ab63252a92c9d88c7cdf1138ccda.png)
![](https://qcloudimg.tencent-cloud.cn/image/document/8048ab63252a92c9d88c7cdf1138ccda.png)
注意
其中 Spark 类型应用的任务信息、应用洞察、应用对比新功能需 check Spark History 版本是否符合,check 命令如下:
curl "http://localhost:10000/api/v1/applications" | json_pp
,返回数据为非正常的 json 格式数据则 SparkHistory 版本不符合,可 提交工单 申请开启相关功能。作业查询将每30s采集一次 ResourceManager 数据,采集操作对集群业务影响微小可忽略。
3. 在作业列表中单击更多 > 应用洞察,查看应用的详细洞察项及相关的洞察规则、结果、建议。
![](https://qcloudimg.tencent-cloud.cn/image/document/e0d19f4e0c8ac71ff956512b6fc6ff0c.png)
![](https://qcloudimg.tencent-cloud.cn/image/document/e0d19f4e0c8ac71ff956512b6fc6ff0c.png)
4. 在作业列表中单击更多 > 任务信息,查看作业的任务列表及任务的运行日志。
![](https://qcloudimg.tencent-cloud.cn/image/document/fa558754b686ed95c35ba12ae53cec92.png)
![](https://qcloudimg.tencent-cloud.cn/image/document/fa558754b686ed95c35ba12ae53cec92.png)