Spark UI (6) - SQL页面

接上文 Spark UI (3、4、5) - Storage、Environment、Executors页面

SQL页面展示了作业执行Spark SQL的情况, 它会按SQL层面展示一条SQL在Spark中如何解析并执行的。

SQL详情页面会展示SQL在spark中执行的具体计划(DAG图)：

INSERT OVERWRITE TABLE `${target.table}`
select t1.report_date,
       t2.cooperation_type,
       t1.grid_poi_id,
       t1.diff_qty
  from mart_grocery.fact_sc_gms_diff_report t1
  left join mart_grocery.dim_op_poi t2
    on t1.grid_poi_id=t2.poi_id
 where t1.dt = '20220410'

下方的Details会展示SQL在Spark中如何解析并优化的:

FAQ

1.检查分区过滤条件是否生效

如果输入表是分区表, 且只需要读部分分区时，我们可以观察对应的HiveTableScan是否有分区字段的过滤条件, 如果有代表只会读取符合条件的分区数据, 如果没有作业会全量分区。

2.ETL任务Stage和DAG的对应关系

通过stage DAG图中的coordinator id可以找到在SQL页面对应的位置, 例如: