我们有基于亚马逊网络服务的数据管道,具有不同的组件,如kinesis、lambda、firehose、s3、dynamodb和emr,用于spark作业。我们需要在所有这些组件上实现监控系统,主要监控每个点的处理时间,如果有瓶颈的话。
如果他们实施了这样的监控系统,有没有人可以指点一下?我更感兴趣的是构建基于普罗米修斯和grafana的系统
发布于 2020-04-08 16:26:35
您可以使用Cloudwatch exporter将指标传送到Prometheus服务器。
有两个主要的Cloudwatch导出器:
亚马逊网络服务有一份关于using GetMetricsData instead of GetMetricStatistics便利性的文档。
发布于 2020-02-20 17:07:59
对于您的亚马逊网络服务,您可以使用CloudWatch和CloudTrail进行监控。对于Apache Spark,您也可以使用Spark Web UI。
https://stackoverflow.com/questions/60315912
复制相似问题