Spark UI (2) - Stages页面

接上文：Spark UI (1) - Jobs页面

Stages页面会显示作业所有的stage信息, 不区分stage属于哪个job. 如图:

点击详情中的链接可以跳转到对应的stage详情页面, 如图:

1.DAG Visualization

点击DAG Visualization会展开该stage的DAG图, 会更详细地显示stage中rdd的pipeline操作

2.Show Additional Metrics

Additional Metrics有一些默认没有展示在页面上的统计指标, 勾选后会在task统计区和task详情里展示出来

3.Event Timeline

点击Event Timeline会展开task的时间线这里可以看到task调度情况和执行时间占比

4.Task统计指标汇总

task指标统计区展示的是所有已完成task的指标统计, 注意每一列的指标不一定是属于同一个task的. 通常我们会对比最大值和TP75的指标来看是否有数据倾斜.

5.Aggregated Metrics by Executor

Aggregated Metrics by Executor会按Executor聚合task指标

6.task详情

task详情会展示每个task的相关信息, 包含task id, 所在节点, 启动时间, 耗时和统计指标等. 可以通过点击表头排序快速定位需要找的task: