首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >问答首页 >数据平台监控工具选项

数据平台监控工具选项
EN

Stack Overflow用户
提问于 2020-02-20 16:44:10
回答 2查看 67关注 0票数 0

我们有基于亚马逊网络服务的数据管道,具有不同的组件,如kinesis、lambda、firehose、s3、dynamodb和emr,用于spark作业。我们需要在所有这些组件上实现监控系统,主要监控每个点的处理时间,如果有瓶颈的话。

如果他们实施了这样的监控系统,有没有人可以指点一下?我更感兴趣的是构建基于普罗米修斯和grafana的系统

EN

回答 2

Stack Overflow用户

发布于 2020-04-08 16:26:35

您可以使用Cloudwatch exporter将指标传送到Prometheus服务器。

有两个主要的Cloudwatch导出器:

  • Cloudwatch exporter:是用Java语言编写的“官方”版本。主要的缺点是它没有实现API调用,所以如果名称空间中有很多资源,它可能会引起GetMetricsData节流。
  • Yet another Cloudwatch Exporter:这个程序是用go编写的,并实现了GetMetricsData,它允许在单个API调用中发出多达500个指标请求。

亚马逊网络服务有一份关于using GetMetricsData instead of GetMetricStatistics便利性的文档。

票数 1
EN

Stack Overflow用户

发布于 2020-02-20 17:07:59

对于您的亚马逊网络服务,您可以使用CloudWatchCloudTrail进行监控。对于Apache Spark,您也可以使用Spark Web UI

票数 0
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/60315912

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档