数据湖计算 DLC 为您提供敏捷高效的 Serverless 数据湖分析与计算服务,而 DLC 作为分布式计算平台,其查询性能受到多项内外部因素影响,例如:引擎 CU 规模、同时提交排队的任务数量、SQL 编写形式、Spark 参数设置等。数据湖计算 DLC 洞察管理提供了一个可视化的直观界面,帮助您快速了解当前查询性能表现以及影响性能的潜在因素,并获取性能优化建议。
数据湖计算 DLC 提供洞察管理功能包含任务洞察、引擎用量洞察、智能存储功能,协助用户更好地调整资源或优化任务逻辑。
适用的业务场景:
1. 对 Spark 引擎有整体运行状况洞察的诉求,例如:引擎下各任务运行时的资源抢占情况,引擎内资源使用情况,引擎执行时长,数据扫描大小,数据shuffle 大小等都有直观的展示与分析。
2. 可以方便自助排查分析任务运行情况的诉求,例如:可对众多任务按照耗时筛选排序,快速找到有问题的大任务,定位 Spark 任务运行缓慢或者失败的原因,如资源抢占,shuffle 异常,磁盘不足等情况,都有清晰的定位。
3. 对库表存储分布有洞察的需求,例如:可观测存储分布、排行、用量趋势,智能诊断风险,帮助排查存储需优化的库表。