Spark 查询

最近更新时间:2023-10-26 14:35:31

我的收藏

操作场景

提供快速查看 Spark 作业的提交用户、状态、持续时间等多项明细指标,并支持作业级历史任务对比、作业洞察、任务执行信息等。

操作步骤

1. 登录 EMR 控制台,在集群列表中单击对应的集群 ID/名称进入集群详情页。
2. 在集群详情页选择作业管理 > Spark,即可查看查询管理,查询相关 Spark 作业信息、任务信息查看、应用执行结果洞察及应用监控对比等。 作业级别提供用户、应用名、队列名、作业类型、持续时间及相关吞吐资源等多维信息筛查。


注意
其中 Spark 类型应用的任务信息、应用洞察、应用对比新功能需 check Spark History 版本是否符合,check 命令如下:curl "http://localhost:10000/api/v1/applications" | json_pp,返回数据为非正常的 json 格式数据则 SparkHistory 版本不符合,可 提交工单 申请开启相关功能。
作业查询将每30s采集一次 ResourceManager 数据,采集操作对集群业务影响微小可忽略。
3. 在作业列表中单击更多 > 应用洞察,查看应用的详细洞察项及相关的洞察规则、结果、建议。


4. 在作业列表中单击更多 > 任务信息,查看作业的任务列表及任务的运行日志。