1回答
我在Kubernetes上运行Spark 3.0应用程序(Spark Structured Streaming)，并尝试使用新的原生Prometheus指标接收器。我能够让它工作，并获得描述here的所有指标。但是，我真正需要的指标是在启用以下配置时提供的指标: spark.sql.streaming.metricsEnabled，如this Spark<
浏览 53提问于2020-10-20得票数 3
回答已采纳
我们使用spark on kubernetes (使用SparkOperator)和Prometheus来公开应用程序的指标。该应用程序是spark流媒体应用程序(不是结构化流媒体应用程序)。，因为当你卷曲普罗米修斯端口时，你仍然可以看到一堆其他指标-只是没有火花流指标。spark-image包含prometheus-java代理，并且在stream-app的舵表中，监控规范被配置
浏览 1提问于2021-10-04得票数 1
1回答
我按照以下步骤设置了Prometheus、Graphite Exporter和Grafana，以绘制运行结构化流的Spark 2.2.1的指标。这篇文章的收集指标非常过时；并且不包括任何可以用来监控结构化流媒体的指标(我相信)。我对执行执行各种聚合的流查询的资源和持续时间特别感兴趣。有没有任何预配置的Spark仪表板--我有点惊
浏览 2提问于2018-02-03得票数 2
我一直在阅读这篇文章-- ，有人提到，我们可以将诸如输入行、处理速率和批处理持续时间这样的火花流指标输入到prometheus中。
我能够通过下面的API获得主机/infra指标，如内存、磁盘等。https://eastus-c3.databricks.net/driver-proxy-api/o/<org-id>/<cluster-id>/40001/metrics
浏览 19提问于2022-11-24得票数 0
回答已采纳
我编写了一个Spark应用程序，我用maven进行编译，并使用submit运行它。我想监视我的应用程序并收集度量。因此，我使用了Prometheus容器，但我很难向它公开一个简单的度量。但我不知道该如何处理spark.yml文件。
我有一个Prometheus客户端，可以计算一些东西。spark/conf/metrics.propertiesI中的i取消评论，在my pom.xml中添加了JMX
浏览 3提问于2021-06-08得票数 0
回答已采纳
我们正在尝试使用普罗米修斯获取火花指标。我们使用jmx导出器jmx_prometheus_javaagent-0.12.0.jar。 我们能够获得部署模式客户端的指标，但不能获得集群的指标。对于独立命令，使用的是 ./spark-submit --conf "spark.driver.extraJavaOptions=-javaagent:..-0.12.0.jar=8060:/conf/<em
浏览 67提问于2020-04-09得票数 0
我正在运行spark cluster，我有一个节点，上面运行着三个executors。我想取消使用Prometheus JMX代理的所有三个执行器的指标。我在下面的spark提交命令中使用"spark.executor.extraJavaOptions“传递Prometheus java代理。--conf "spark.executor.extraJavaOptions=-javaagent:/opt&#
浏览 6提问于2018-07-25得票数 2
1回答
Circumstances:
我是通过以下途径提交申请的-c第二个指标-- executor one --包含除在此处描述的executor命名空间下的指标外：。下，我也可以看到这些指标。所以Spark-K8s-Prometheus集成肯定有问题。=/
浏览 5提问于2022-02-04得票数 3
我正在尝试在Kubernetes上使用spark。我的想法是在运行prometheus operator的k8s集群上使用spark-submit。现在我知道prometheus operator可以响应ServiceMonitor yaml，但是我对如何使用spark-submit提供YAML中所需的一些东西感到困惑apiVersionmatchNames: endpoints:
- port:
浏览 0提问于2020-01-22得票数 0
我是新普罗米修斯和目前集成火花流指标普罗米修斯。我正在收集星火流中批量完成事件的不同度量，并希望将这些指标存储到prometheus。注意，在每一个批处理完成的事件中，我都有一个度量，需要将刮到prometheus。我知道普罗米修斯遵循拉力模型。我也看到它有推动出口商，它只是推送最新的度量值，但在我的例子中，因为它基于已完成的事件，所以它可以是度
浏览 1提问于2020-01-13得票数 1
回答已采纳
我想在host:8080/actuator/prometheus上以普罗米修斯格式提供我的卡夫卡数据流指标 我没办法拥有这个。我不确定我是否理解kafka流指标是如何导出的。actuator可以获得这些JMX指标吗？有没有办法获得这些指标并以普罗米修斯格式公开它们？ PS:也没有使用java jmx_prometheus_agent 有人有解决方案或例子吗？ 谢谢
浏览 46提问于2019-09-25得票数 7
我们可以看到，在将Flink度量暴露于外部系统(如Prometheus )时，Flink使用Pushgateway而不是Prometheus通常的拉模型进行一般度量集合。", jobName, e);}
然而，从Prometheus下面的官方文档中可以看出，"Prometheus直接或通过中间推送网关为短寿命作业从工具作业中收集指标“，显然Flink流作业不是短暂的工作，那么为什么
浏览 2提问于2018-08-19得票数 0
回答已采纳
我正在尝试使用javaagent和下面的选项来抓取spark driver和executor的指标。我在kubernetes集群中有Prometheus，并且我在kubernetes集群之外运行这个spark应用程序。spark.executor.extraJavaOptions=-javaagent:/opt/clkd/prometheus/jmx_prometheus_javaagent-0.3.1.jar=
浏览 3提问于2020-07-13得票数 3
1回答
在服务监视器中重命名指标
、、、
在阅读了this的文章后，我正在尝试清理Spark3.0.1中的指标。这是我的servicemonitor.yml文件： apiVersion: monitoring.coreos.com/v1metadata: app: spark3 name: spark3-servicemonitor
spec
浏览 148提问于2021-01-24得票数 1
回答已采纳
我使用的是spark-cassandra-connector_2.11-2.0.1版本。
需要找出读/写cassandra所用的时间。
浏览 2提问于2018-04-12得票数 0
在谷歌云数据流/光束中，我们可以使用这个Metrics API收集应用程序指标，并且可以使用另一个API在应用程序中查询它。但我需要将这些指标持久化到Bigquery/Prometheus中，以实现实时监控和警报机制。请建议如何在谷歌云数据流中实现这一点。
浏览 33提问于2020-01-14得票数 0
回答已采纳
2回答
星火流为每个执行的应用程序提供了部署的Web (运行应用程序的http://localhost:4040或已完成的应用程序的http://localhost:18080 )中的“流”选项卡，其中可以获得代表应用程序性能的图表，而使用Spark结构化流无法获得更多的图表。在我的例子中，我正在
浏览 1提问于2020-10-01得票数 1
回答已采纳
我是python和prometheus的新手。任何帮助都将不胜感激。我在用普罗米修斯客户端。我在文件A中创建了一个仪表实例 self.spark_time = prom.Gauge( "Gauge pod runningtime", ) 我也在文件A中设置指标 self.spark_time.l
浏览 11提问于2021-10-27得票数 0
我正在用prometheus和grafana尝试scdf和它的监控。我遵循了可用的文档，并且能够部署样例流，并且能够在grafana中查看指标。我已经创建了一个流与一些自定义流应用程序(除了提供的兔mq启动器应用程序)。但是我在gafana中看不到"participant“应用程序指标。但能够查看http和日志应用程序的
浏览 29提问于2019-07-23得票数 1
有一些非常基本的问题涉及到使用度量的拉出机制，以及如何使用Prometheus监视Spark 3应用程序：
：Spark-3支持的PrometheusServlet接收器是否包含应用程序启动时间以来的所有指标Where/How是存储在接收器中的度量信息吗?当Prometheus抓取端点时到底会发生什么？如果终结点显示应用程序启动时间以来的所有度量信息，那么用于存储这些度量
浏览 1提问于2020-08-26得票数 2
云服务器
ICP备案
腾讯会议
云直播
实时音视频
腾讯云开发者
