Spark UI基本介绍
原创
Spark UI是反映一个Spark作业执行情况的web页面, 用户可以通过Spark UI观察Spark作业的执行状态, 分析可能存在的问题.。本文会介绍Spark UI的相关内容和常用的分析方法, 帮助大家更快看懂Spark究竟是如何执行代码以及通过Spark UI定位常见的作业问题.
以一个常见的Spark任务为例, Spark UI如图:
后续文章将从下面7个模块依次介绍。
序号 | 标签页 | 说明 | 文档 |
|---|---|---|---|
1 | Jobs | spark作业正在执行中和执行过的job | |
2 | Stages | 所有Stages的信息 | |
3 | Storage | RDD存储信息 | |
4 | Environment | 作业配置参数和执行环境信息 | |
5 | Executors | 展示作业的Executor信息 | |
6 | SQL | 使用Spark-SQL时出现, 展示SQL解析信息 | |
7 | Debug | 错误诊断信息及不同类型Executor的时间线图 | Spark UI (7) - Debug页面（待编写） |
原创声明：本文系作者授权腾讯云开发者社区发表，未经许可，不得转载。
如有侵权，请联系 cloudcommunity@tencent.com 删除。
原创声明：本文系作者授权腾讯云开发者社区发表，未经许可，不得转载。
如有侵权，请联系 cloudcommunity@tencent.com 删除。
评论
作者已关闭评论
推荐阅读
相关产品与服务