如何将Prometheus数据复制到ELK？
Prometheus是一种开源的监控系统和时间序列数据库，而ELK是指Elasticsearch、Logstash和Kibana的组合，用于日志的收集、存储和可视化。将Prometheus数据复制到ELK可以实现将监控数据与日志数据进行关联和分析，提供更全面的系统监控和故障排查能力。
要将Prometheus数据复制到ELK，可以采取以下步骤：
- 安装和配置Logstash：Logstash是一个用于数据收集、转换和传输的开源工具。首先，需要安装和配置Logstash，以便从Prometheus获取数据并将其发送到Elasticsearch。
- 创建Logstash配置文件：在Logstash的配置文件中，需要指定从Prometheus获取数据的输入插件和将数据发送到Elasticsearch的输出插件。可以使用Prometheus的exporter插件（如Prometheus Exporter for Logstash）来从Prometheus获取数据。
- 配置Elasticsearch：确保Elasticsearch已正确安装和配置，并具有适当的索引模板和映射，以便正确存储和检索Prometheus数据。
- 启动Logstash：启动Logstash，并确保配置文件正确加载和运行。
- 可选：使用Kibana可视化数据：如果需要对复制到ELK的Prometheus数据进行可视化和分析，可以使用Kibana。配置Kibana以连接到Elasticsearch，并创建仪表板和可视化图表以展示Prometheus数据。
总结起来，将Prometheus数据复制到ELK的步骤包括安装和配置Logstash、创建Logstash配置文件、配置Elasticsearch、启动Logstash，并可选地使用Kibana进行数据可视化。这样可以实现将Prometheus的监控数据与ELK的日志数据进行关联和分析，提供更全面的系统监控和故障排查能力。
腾讯云相关产品推荐：
- 腾讯云日志服务CLS（Cloud Log Service）：用于日志的收集、存储和分析，可作为ELK的替代方案。详情请参考：腾讯云日志服务CLS
- 腾讯云云监控CMQ（Cloud Monitor & Queue）：用于监控和告警管理，可与Prometheus结合使用。详情请参考：腾讯云云监控CMQ
相关·内容
是否可以将现有数据(如Prometheus和elk中的数据)迁移到datadog？
通过配置Datadog配置，可以将Prometheus指标实时流式传输到datadog。但是，如何处理过去的数据呢？
浏览 2提问于2019-11-06得票数 1
参考资料：
从第二个链接，我得到了节拍Prometheus模块的配置如下：
- module: prometheus
period: 10s
hosts: ["localhost:9090"]
metricsets: ["query"]
queries:
- name: 'up'
path: '/api/v1/query'
params:
query: "up"
关于我的用例，我想从远程prometheus主机(它在我的网络之外)使用查询将数据从我的ELK集群中提取
浏览 9提问于2022-11-28得票数 0
回答已采纳
我们有一个Kubernetes 1.7.8集群，在HA中部署了Kops 1.7，有三个主机。集群有10个节点和大约400个pod。
集群有heapster、prometheus和ELK (收集某些pod的日志)。
我们看到主服务器的活跃度非常高，超过90%的CPU被api服务器使用。
检查prometheus数字我们可以看到，对kube-apiserver的近5000个请求是监视动词，其余的请求少于50个请求(GET，LIST，PATCH，PUT)。
几乎所有的请求都是通过客户端" Go - HTTP - client /2.0“(Go HTTP库的默认用户代理)报告的。
这是正常情况
浏览 0提问于2018-03-21得票数 2
我们的组织使用Elastic Logstash & Kibana (ELK)，并使用SQL Server数据仓库进行分析和报告。我们希望将ELK中的一些数据项复制到数据仓库中。我发现有很多网站描述了如何将SQL Server数据加载到ELK中。然而，我们需要走另一个方向。如何将数据从ELK传输到SQL Server，最好使用SSIS？
浏览 13提问于2017-08-29得票数 4
我们有kubernetes集群，有ELK running和Prometheus。我只想使用Kibana在一个地方看到所有的东西(grafana也是一个很好的选择，但需要的工具更少)。作为日志聚合器，我们使用logstash。我想得到普罗米修斯在基巴纳的数据。也许已经有人这么做了？:)
浏览 21提问于2019-08-16得票数 0
大多数流行的日志记录和监视堆栈，如ELK堆栈或时间序列integrated，都是为集成而设计的。AppDynamics能否与其他采样器/DBs一起工作，特别是Prometheus？
浏览 0提问于2018-10-25得票数 2
回答已采纳
我想对我们的环境进行监控。我想知道使用Prometheus这样的工具来制作度量的好处是什么，而仅仅使用ELK堆栈来使用日志创建类似的度量标准有什么好处呢？
浏览 0提问于2019-06-14得票数 1
回答已采纳
1回答
我已经从ELK服务器复制了ssl证书，该证书设置在cent OS 7上，使用以下命令
scp /etc/pki/tls/certs/logstash-forwarder.crt user@client_server_private_address:/tmp
但是，我应该如何将其放入Windows2012 r2呢？
谢谢。
浏览 8提问于2016-04-29得票数 0
有人能帮我指出如何将数据从一个ELK (AWS弹性服务)域复制到另一个ELK(AWS弹性服务)域吗？
浏览 2提问于2021-01-12得票数 0
1回答
我们正在寻找ELK来做一些警报。有没有一种方法可以转储通过ELK中的内置函数创建的时间序列数据，以便将其转储回ELK，以便我们可以围绕它编写警报。例如：
有一些方法可以通过Kibana使用移动平均聚合或Holt-Winters双指数平滑来创建时间序列图。ELK还支持预测模型。我们想要做的是，当Holt-冬季的产量低于预测的X%时，我们发出警报。但为此，我需要将两个数据点(Holt-winter和Predictive)放回到ELK或其他数据库中，以计算是否应该发出警报。我们如何将这两个从原始数据派生的数据集推送回ELK或数据库以发出警报
浏览 2提问于2016-08-25得票数 0
我目前正在尝试加载数据从普罗米修斯Pagespeed Exporter (https://github.com/foomo/pagespeed_exporter)直接到ELK使用Metricbeat。似乎是这样的，Pagespeed Exporter的调用需要比Metricbeats提供的更多的时间来抓取所需的数据。发生客户端超时： unable to decode response from prometheus endpoint: error making http request: Get http://pagespeed-exporter-monitoring:9271/metric
浏览 70提问于2020-07-24得票数 0
3回答
我们正在使用Prometheus进行度量收集。Prometheus将被部署为一个容器，它将从各种来源收集度量，并将数据存储在本地机器(容器正在运行的地方)中。如果保存容器的节点失败了，我们将与该节点一起丢失度量，因为Prometheus将所有度量存储在该本地机器中。Kubernetes将在一个健康的节点中检测容器故障并跨越该容器，但是我们已经丢失了旧节点中的数据.。
为了解决这个问题，我们有两个想法
我们得把整个普罗米修斯和库伯奈特脱钩。
- We need to make sure of high availability for the Prometheus server
浏览 5提问于2019-11-16得票数 1
3回答
我是第一次使用elk栈，我可以使用logstash导入数据，但是我如何将我的mongodb链接到elastic？
另外，导入批量数据的最佳方式是什么？
我使用的是均值堆栈和elk 5+的最新版本。我没有使用像filebeats这样的节拍，但如果需要的话，我愿意使用。
浏览 0提问于2017-11-09得票数 1
FROM "this line works but cant show code"
RUN yum install -y java-1.8.0-openjdk.x86_64 && yum clean all
COPY /resources/accounts.txt /home/resources/accounts.txt
COPY elk_casino_server /home/elk_casino_server
CMD ["jar","cvmf","/home/elk_casino_server/src/META-I
浏览 0提问于2018-12-19得票数 0
1回答
我需要将"jmx_prometheus_javaagent“jar添加到JIB构建中，但是在部署应用程序时会出现以下错误：
Error opening zip file or JAR manifest missing : /srv/jmx_prometheus_javaagent-0.16.1.jar
Error occurred during initialization of VM
agent library failed to init: instrument
我在所需目录中添加了jar和一个配置文件，这是我在build.gradle.kts中所做的相关更改。
val jibEx
浏览 8提问于2021-10-21得票数 0
回答已采纳
我试过了。但是它没有捕捉到OSSEC日志(警报、syslog等等)，它只是为我的Kibana应用程序提供了这条消息。
无法找到任何Elasticsearch数据，您需要在创建索引模式之前将一些数据索引到Elasticsearch中。
我知道有一些类似于的教程。但是它需要使用wazuh包，我不想使用它，我只想使用纯OSSEC。我的OSSEC和ELK应用程序位于samw机器中。
我的问题是，如何将OSSEC与ELK集成？在启动连接到ELK的OSSEC之前，我必须先做什么配置？
浏览 1提问于2018-03-14得票数 11
回答已采纳
1回答
我使用sudo docker run -p 5601:5601 -p 9200:9200 -p 5044:5044 -it --name elk sebp/elk命令运行elk容器，并向容器填充了许多数据，但现在无法启动。
我猜这是由容器中一个名为logstash的服务引起的，所以我希望在不启动logstash服务的情况下启动容器。
有一个参数-e LOGSTASH_START=0可以让容器在创建新容器时不启动服务。
如何将其应用于exist容器？我使用的是windows docker-desktop 4.1.1。
浏览 38提问于2021-11-18得票数 0
1回答
我想配置Kibana，这样我就可以通过https访问。 我在Kibana配置文件(/etc/kibana/kibana.yml)中做了以下更改： server.host: 0.0.0.0
server.ssl.enabled: true
server.ssl.key: /etc/elasticsearch/privkey.pem // Using same SSL that I created for elasticsearch
server.ssl.certificate: /etc/elasticsearch/cert.pem // Using same SSL that I creat
浏览 83提问于2019-06-05得票数 0
我正在做一个POC，使用Prometheus-operator将Thanos集成到我们的Prometheus集群中。该系统运行良好，每两个小时就会将本地文件上传到S3。但是，看起来sidecar没有在Prometheus本地磁盘上备份我们的历史数据。在我减少保留之后，这些数据就丢失了。我不确定是否可以通过某些设置启用历史数据备份，或者sidecar只能备份动态生成的数据？如果是这种情况，我们如何将历史数据备份到S3？谢谢。
浏览 34提问于2019-02-21得票数 0
3回答
我有一系列使用Spring Boot构建的微服务，它们通过docker-compose作为docker容器运行。我想集中日志文件，所以我在考虑使用ELK (在另一个容器中运行)。如何将日志文件从基于Spring Boot的docker容器推送到ELK，它们是从容器推送到ELK，还是从容器推送到ELK？
任何示例配置或最新的库都将不胜感激。
浏览 2提问于2019-02-05得票数 1
1回答
我使用Kong作为GUI，并添加了Prometheus插件用于监视，但是当我尝试使用Kong端点http://host.docker.internal:8001/metrics将数据源添加到Grafana时，总是会出现以下错误
读取Prometheus: client_error:客户端错误: 404时出错。
如何将Grafana数据源连接到本地主机:8001/度量？
浏览 7提问于2022-02-02得票数 0
我是普罗米修斯的新手，我想向普罗米修斯发送一些定制的指标。我正在使用这个。
from prometheus_client import make_wsgi_app
from wsgiref.simple_server import make_server
def prometheus_config():
app = make_wsgi_app()
httpd = make_server('', 1618, app)
httpd.serve_forever()
def start_prometheus_server():
threading.
浏览 0提问于2019-10-28得票数 1
回答已采纳
2回答
我正在尝试配置prometheus和grafana来监控我的django应用程序，但是当执行docker-compose up命令时抛出这个错误： grafana_prometheus_ctnr | level=error ts=2020-10-20T13:08:42.474Z caller=main.go:290 msg="Error loading config (--config.file=/etc/prometheus/prometheus.yml)" err="open /etc/prometheus/prometheus.yml: no such file
浏览 346提问于2020-10-20得票数 0
回答已采纳
背景
我已经使用在我的Kubernetes集群(由托管)上安装了Prometheus。
问题
我不知道如何将刮伤目标添加到Prometheus服务器。prometheus.io站点描述了如何将prometheus.yml文件(其中包含刮取目标的列表)挂载到prometheus.yml容器--我已经在本地完成了这一工作。但是，我不知道如何为通过Kubernetes-Helm安装的Prometheus设置指定刮擦目标。是否需要向包含刮取目标的Prometheus服务器荚添加卷，从而更新由Helm生成的YAML文件？
我也不清楚如何在Kubernetes Pod中公开度量标准--我需要转发特定的端口
浏览 4提问于2017-08-10得票数 18
回答已采纳
我正在寻找一种方法来区分从运行在Kubernetes集群中的不同动态发现的服务中收集的Prometheus度量(我们使用的是)。例如，对于写入数据库的度量标准，我想了解它们实际上来自哪个服务。我想您可以通过相关服务中的标签来实现这一点，但是，我们使用的swagger-stats ()还没有提供这种功能(为了增强这个功能，还有一个问题是：)。有没有办法在Prometheus本身上实现这一点，例如，Prometheus在刮过一次之后，每个时间序列都添加一个特定于服务的标签？
感谢你的反馈！
浏览 1提问于2018-08-24得票数 4
回答已采纳
1回答
在弹性搜索簇之间移动数据
、、、
我是elasticsearch的新手。我正在尝试创建一个快照，用于从部署在Kubernetes集群上的ELK迁移到opensearch服务，但我不想只对整个集群进行快照，请提供有关如何将数据导出到存储服务并在目标集群中导入数据的指示吗？
浏览 21提问于2022-03-16得票数 0
1回答
我的prometheus.yml
global:
scrape_interval: 15s
evaluation_interval: 15s
scrape_configs:
- job_name: prometheus
static_configs:
- targets: ['localhost:9090']
- job_name: golang
metrics_path: /prometheus
static_configs:
- targets:
- localhost:9000
现
浏览 4提问于2021-10-07得票数 2
回答已采纳
问:如何将Prometheus容器的主机地址从默认的0.0.0.0:9090 更改为 192.168.1.234:9090
背景:我正在尝试在远程服务器上的生产环境中安装和启动Prometheus容器。由于服务器使用的IP不是Prometheus的默认值(0.0.0.0)，所以我需要更新Prometheus容器使用的主机地址。如果不这样做，我就无法登录UI并查看任何度量标准。远程服务器的IP是由用户在应用程序安装期间提供的。
根据我从Prometheus的和./prometheus -h的输出中了解到的情况，主机地址是不可变的，因此需要使用--web.listen-address=命令行标志进
浏览 1提问于2018-10-01得票数 1
1回答
我是普罗米修斯的新手。
我也需要将刮过的物品的数量发送到Prometheus，并在Grafana中的图表上显示它们。
我安装了、和。
在“刮伤”设置中添加
STATS_CLASS = 'scrapy_prometheus.PrometheusStatsCollector'
# Prometheus pushgateway host
PROMETHEUS_PUSHGATEWAY = 'http://0.0.0.0:9090'
# Metric name prefix
PROMETHEUS_METRIC_PREFIX = 'scrapy_prometh
浏览 0提问于2019-01-11得票数 0
回答已采纳
2回答
如何更改容器本身的/ Prometheus/ Prometheus.yml 1) appserver - docker容器中的节点应用程序2) postgres db 3)缓存和nginx web服务器
我知道必须更改Prometheus.yml文件并添加目标
浏览 9提问于2018-09-02得票数 2
我指的是this doc。 我想从我的设备上发送数据并在grafana上可视化，那么，如何将prometheus(在GCP中部署为集群)连接到GCP pubsub。
浏览 25提问于2019-09-23得票数 0
1回答
我们希望使用VictoriaMetric作为存储数据库，用于从普罗米修斯收集的时间序列数据。但是据说只支持写模式下的集成，而不是读模式。
这是否意味着普罗米修斯将只用作时间序列数据的收集器，而PromQL将无法读取这些数据？
Prometheus是否会停止将收集到的数据存储在文件系统中，并且只在我们指定远程写配置时使用远程存储？或者收集到的数据仍然可以从文件系统中获得，我们可以从Prometheus收集实时数据，如果我们需要具有历史意义的长期数据，我们必须查询DB本身？
浏览 8提问于2020-09-08得票数 2
回答已采纳
1回答
我已经配置了一个ELK堆栈服务器，它可以监视AWS上EKS集群中多个节点的日志。
我想公开Kibana仪表板以便我可以查看这些日志。由于包含ELK堆栈的机器有一个私有IP地址(没有公共IP)，我如何将它公开给外部访问，以便从桌面上查看它？有一些建议需要遵循，然而，第一条和第三条并不是很好，而第二条则不是首选。
安装进入ELK机器，安装DNS条目，具有路由53入口点到ELK机器的IP地址端口转发
我希望能对一个潜在的解决方案有一些见解。
浏览 8提问于2020-07-17得票数 0
我已经在我的k8s集群上部署了prometheus操作符。现在，我想为我创建的自定义导出程序添加一个刮擦目标。我创建了我的prometheus.yaml文件，但是找不到如何将它应用到现有的prometheus操作符中。
浏览 16提问于2020-08-20得票数 0
2回答
在我的kubernetes部署中，我有一个多容器吊舱：
java
雷迪斯
nginx
每一个集装箱，也有一个与普罗米修斯出口商的集装箱。
问题是，如果注释部分只支持每个荚的一个端口，我如何将这些端口公开给Prometheus？
annotations:
prometheus.io/scrape: 'true'
prometheus.io/port: 'xxxx'
但我需要这样的东西：
annotations:
prometheus.io/scrape: 'true'
prometheus.io/port_1:
浏览 5提问于2017-03-30得票数 10
回答已采纳
我有一个正在运行的CronJob，我希望将OpenCensus集成到Prometheus以导出它。不过，我目前必须在工作结束后再加1分钟的睡眠，以确保Prometheus已经刮掉了我的指标。
如果可能的话，我想使用Prometheus PushGateway来避免额外的睡眠，但我想不出如何将它与OpenCensus连接起来。
下面是提到它的文档： -它说：
public class MyMainClass {
public static void main(String[] args) {
// Creates a PrometheusStatsCollector and regi
浏览 0提问于2019-07-11得票数 0
我在一台服务器上安装了node exporter和Prometheus，并且能够在Prometheus中获得指标。但是如果我添加另一个节点，如何使用节点导出器将该新节点的指标拉到我的Prometheus服务器上。我在新服务器上安装了node exporter，但无法弄清楚如何将这些指标发送到另一台服务器上的Prometheus服务器。
我的Prometheus.yml文件如下所示
global:
scrape_interval: 5sec
scrape_configs:
-job_name: node
static_configs:
- targets:["l
浏览 13提问于2017-08-10得票数 0
回答已采纳
我有一个正在运行prometheus的docker容器，有时我必须在容器中更新一个配置文件，问题是我不知道谁可以更新这个文件，而不需要再次删除和创建容器。
docker run --network="host" -d --name=prometheus -p 9090:9090 -v ~/prometheus.yaml:/etc/prometheus/prometheus.yml prom/prometheus --config.file=/etc/prometheus/prometheus.yml
我想知道如何在不删除和再次创建prometheus.yaml容器的情况下更
浏览 6提问于2021-06-01得票数 0
是否有一种方法可以通过环境变量来选择是否想要一个logback附录？
我有一个修正的弹簧启动微服务，现在添加了麋鹿堆栈。
到目前为止还不错。
但是现在如果我想在没有ELK堆栈的情况下启动我的服务，应用程序会抛出一个错误，它不知道Logstash的主机：
app | 10:09:23,537 |-ERROR in ch.qos.logback.classic.net.SyslogAppender[SYSLOG] - Could not create SyslogWriter java.net.UnknownHostException: logstash: Name or service not
浏览 3提问于2018-11-05得票数 5
最近，prometheus-算子被提升为稳定舵图().
我想了解如何将自定义应用程序添加到k8s集群中prometheus操作符的监视中。举个例子，比如说gitlab runner，它在默认情况下提供了9252的度量标准，我们将不胜感激()。
我有一个基本的yaml，它显然不起作用，但也没有提供任何关于什么不起作用的反馈：
apiVersion: monitoring.coreos.com/v1
kind: ServiceMonitor
metadata:
name: gitlab-monitor
# Change this to the namespace the Prometheu
浏览 2提问于2018-10-25得票数 53
回答已采纳
我想将警报管理器数据源()安装到正在使用terraform和helm提供程序构建的kube-prometheus-stack安装中。不过，我想不出如何将插件文件发送到运行grafana的节点。
使用修改后的values.yaml并向helm提供-f values.yaml (请忽略值)：
additionalDataSources:
- name: Alertmanager
editable: false
type: camptocamp-prometheus-alertmanager-datasource
url: http://localhost:9093
浏览 8提问于2021-11-17得票数 0
回答已采纳
1回答
我试图使用现有的Prometheus (集群外部)从EKS集群内部聚合所有度量标准，即EC2 (CPU、ram、disk)和Pods (CPU、ram、disk)。我开始使用节点导出、kube状态度量来添加数据，但我仍然坚持部署度量服务器。使用helm i conf并安装它，kube top和kubectl get --raw "/apis/metrics.k8s.io/v1beta1/pods" | jq正在拉数据，但是有人能建议我如何将所有这些都拉到我的外部Prometheus吗？有什么方法可以将它暴露给/metrics URL吗？谢谢!
浏览 2提问于2020-06-17得票数 1
回答已采纳
我一直在尝试在一个节点中设置ICP EE，但是一旦我开始部署监视服务任务，我就会遇到安装失败的情况。
这个特定的任务运行大约30分钟，然后失败。下面是我得到的错误日志。
有什么事我需要改变吗？
为此，我使用了知识中心的基本安装步骤。
TASK [monitoring : Deploying monitoring service]
*******************************
fatal: [localhost]: FAILED! => {
"changed":true,
"cmd":"kubectl app
浏览 0提问于2018-02-26得票数 0
回答已采纳
2回答
我想我可能对如何经营码头有一些误解。到目前为止，我有一个服务器和一个脚本来运行多个坞映像。
现在我想要一个单一的码头形象，其中包含所有这些，但我遇到了一些问题。
这是我的Dockerfile：
FROM prom/prometheus:latest AS prometheus
FROM bitnami/node-exporter:latest as node-exporter
FROM prom/pushgateway:latest AS pushgateway
FROM bitnami/alertmanager:latest AS alert-manager
WORKDIR /app
CO
浏览 3提问于2021-08-11得票数 1
回答已采纳
我已经通过Helm charts安装了Vault和Prometheus。我已初始化存储库并启用了vault.injector.metrics 如何将Prometheus配置为抓取Vault？我已经尝试了注解和additionalScrapeConfigs，但没有成功。
浏览 12提问于2021-08-30得票数 0
回答已采纳
5回答
我有一个带有几个服务的坞化应用程序，它使用dockerized运行。我想使用另一个docker-compose应用程序将这个应用程序连接到ElasticSearch/Logstash/Kibana (ELK)。它们都是在同一台正在开发的码头机器上运行的。在生产中，情况可能并非如此。
如何将应用程序的docker-compose.yml配置为链接到ELK堆栈？
浏览 7提问于2015-12-21得票数 12
回答已采纳
任何人都知道如何将指标从airflow发送到prometheus，我找不到太多关于它的文档，我在Grafana上尝试了airflow operator metrics，但它没有显示任何指标，而且都说没有数据点。
浏览 5提问于2020-07-30得票数 2
假设这是我的输出：
{
"_links": {
"self": {
"href": "http://localhost:8080/actuator",
"templated": false
},
"health": {
"href": "http://localhost:8080/actuator/health",
"templated": false
},
浏览 3提问于2020-04-19得票数 2
我希望在一个表中显示多个Prometheus数据源。我需要它们像下面这样显示：
另一种表达方式是如何将数据源的名称显示在表的每一行中。这可以通过模板变量或标签函数来实现吗？
浏览 64提问于2021-08-05得票数 0
我对普罗米修斯使用千分尺测量，并根据docs：
端点将连接到/prometheus，该端点将以适当的格式呈现Prometheus刮擦。
如何将其连接到另一个端点，如/metrics
浏览 4提问于2017-07-31得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM活动推荐
腾讯云开发者
