应用洞察

最近更新时间:2024-05-31 08:59:31

我的收藏

功能介绍

应用洞察总览为用户提供了 Hive 查询、调度相关的智能洞察功能。这不仅简化了用户的运维流程,也有效地解决了业务资源过度浪费的问题。通过采集查询和作业的提交、编译、执行和输出等全生命周期中各个阶段指标数据并制定多维度的洞察策略,用户可以通过洞察结果建议调整资源或优化逻辑。当前洞察功能不仅在 Yarn 层面覆盖 TEZ/MR 等多种作业类型储备了充足的洞察项,同时也覆盖了 Hive on Yarn 、Spark on Yarn 和 Spark on Hive 等多种场景,提供了丰富的查询洞察项。
这些功能的主要目标是满足当前市场对降低成本和提高效率的诉求,使用户的资源使用更加透明、高效。
说明:
应用洞察总览功能需要依赖 Yarn、Hive 和 Spark 等引擎的洞察功能开启,若需要开启请提交工单
应用洞察策略将在应用洞察功能开启后支持访问并可按需调整策略参数。

操作步骤

1. 登录 EMR 控制台,在集群列表中单击对应的集群 ID/名称进入集群详情页。
2. 在集群详情页中选择洞察管理> 应用洞察可查看 Hive 的调度和查询相关的洞察分布情况,数据优化趋势以及异常洞察的应用明细及相关优化建议。

注意:
为保障集群稳定运行,应用洞察采集策略的降级策略与 Hive 查询、Yarn 作业及 Spark 查询的降级策略一致,其中 Hive 查询洞察的降级策略请参考 Hive 查询管理中的注意事项、 Yarn应用洞察的降级策略请参考Yarn 作业查询中的注意事项,Spark应用洞察的降级策略请参考 Spark 查询管理中的注意事项。