按事件类型将日志从fluentd中继到elasticsearch

文章/答案/技术大牛

发布

1回答

elasticsearch、filter、fluentd

我有如下的json日志： {"event": "{"eventType": "pageview","userId": "2122334"}"} {"event": "{"eventType": "reload","userId": "2122334"}"} 我需要根据事件的eventType将事件

浏览 29提问于2019-02-04得票数 0

1回答

有没有任何方法从外部或浏览器访问/获取AKS (Azure kubernetes Services)的应用程序日志？

azure、kubernetes、logging、azure-aks

我希望生成日志文件夹这样的集群部署的web应用程序的应用程序日志。我希望通过浏览器或任何其他解决方案从日志文件夹访问这些日志，这些解决方案可以很容易地与开发人员共享，以便从他们的系统访问日志。

浏览 6提问于2022-05-16得票数 1

1回答

Fluentd到elasticsearch-获取错误406(不支持Content [] )，同时将数据从fluentd刷新到elasticsearch

node.js、elasticsearch、fluentd

环境：-Fluentd代理Windows发行版。Elasticsearch- v6.1.2应用插件- Nodejs fluent-记录器我做了一些google，并了解到从

浏览 1提问于2018-01-23得票数 1

1回答

有没有办法通过fluentd输入curl得到的结果？

alfresco、fluentd

我们正在寻找一种最简单的方法来将alfresco的审计日志发送到elasticsearch。我认为使用户外提供的查询和获取审计日志是最简单的方法。(因为在db上很难观察到审计日志数据)。此查询将效果度量处理为json类型，然后我想使用fluentd直接下载查询并将其发送到elasticsearch。我粗略地了解到它会输出到弹性弧，但我想知道我是否可以在fluentd上直接使用qu

浏览 0提问于2015-07-31得票数 0

1回答

而不是CloudWatch可能吗？

amazon-web-services、elasticsearch、logging、aws-lambda、fluentd

我想使用Fluentd将AWS的日志从CloudWatch移动到Elasticsearch和Kibana。我知道我需要使用Lambda输出作为Fluentd的输入，我已经设置了这个输入。有没有可能在没有额外插件的情况下用Fluentd捕获Lambda输出，即只使用尾部？我在中没有看到任何Lambda输入插件，只有输出插件。如果没有，是否有任何可能的解决办法，或我必须为此专门编写插件？还是简单地将数据插入到Elasticsear

浏览 0提问于2022-07-07得票数 0

回答已采纳

1回答

Kubernetes事件日志到elasticsearch

elasticsearch、kubernetes、fluentd

我正在尝试使用流利将kubernetes事件日志转发到elasticsearch，我目前使用fluent/fluentd-kubernetes-daemonset:v1.10.1-debian-elasticsearch7-1.0作为容器映像将我的应用程序日志转发到elasticsearch集群，我已经搜索够多了&我的问题是，这个映像没有足够的文档来完成这个任务(即转发kubernetes事件相关日志</em

浏览 7提问于2021-01-25得票数 0

2回答

如何从java app (k8s)采集日志到fluentd(k8s)

kubernetes、fluentd

我在k8s和fluentd中有java应用程序。在fluentd conf中： *`<source> port 24224 <match **> @type stdout我需要使用fluentd-logger-java lib吗？我在文档中读到，我需要为fluentd添加remotehost，但在这里我通常不使用服务。app如何将日志发送到fluentd

浏览 64提问于2019-10-09得票数 1

回答已采纳

2回答

如何在使用kubernetes fluentd-elasticsearch插件时定制fluentd配置

kubernetes、fluentd

我们想通过kubernetes fluentd-elasticsearch插件定制现成的fluentd配置。然而，对于当前提供的Docker镜像，似乎没有简单的方法可以做到这一点。以下文件：被复制到fluentd-es Docker镜像中，我们无法(明显地)对其进行自定义。目前，K

浏览 0提问于2015-10-23得票数 2

1回答

码头测井Efk 7.10.1组成生态环境

docker、elasticsearch、docker-compose、kibana、fluentd

只是为了学习如何将Docker日志收集到EFK (Elasticsearch7.10.1 + Fluentd + Kibana7.10.1)堆栈，尝试构建一个测试应用程序。弹性启动良好，可从获得kibana_1 | {"type":"log","@timestamplogging:

浏览 3提问于2021-01-04得票数 0

2回答

无法理解流利的td/td-代理发送机制

logging、rabbitmq、amqp、fluentd、ubuntu-15.04

所以问题是，我正在创建一个环境，在这个环境中，来自不同服务器的fluentd将把日志发送到中央系统，并在中心系统中安装from，以便完成对日志的处理。但我被困在这一点上了。我无法理解它用于将日志从一个节点传输到另一个节点的机制。此外，我还想在这里使用一些消息队列(如rabbitmq )来为我做到这一点。另外，我发现默认情况下，它会将日志发送到宝藏数据，并且有一种方法可以禁用它。我想了解一下怎么用兔子来帮我做这件事。

浏览 4提问于2015-10-03得票数 1

回答已采纳

1回答

如何将数据从kubernetes集群中的from发送到集群外远程独立服务器中的elasticsearch？

elasticsearch、kubernetes、kibana、fluentd

我已经在所有这些环境中安装了Fluentd作为守护程序来从所有的荚收集日志。我还在集群之外的单独服务器上安装了elasticsearch和kibana。我需要将流畅的日志输入到远程服务器中的elasticsearch，从而运行一个集中的日志平台。如何将数据从from发送到远程服务器中的elasticsearch？

浏览 0提问于2018-07-12得票数 4

2回答

我可以对多个k8集群使用单个elasticsearch/kibana吗？

elasticsearch、logging、kubernetes、kibana、efk

您是否知道任何不允许在多个k8集群中使用单个ES/kibana作为fluentd目标的陷阱或要求？我们正在设计一个新的kubernetes模型。我需要运行多个kubernetes集群，比方说4-6。即使工作负载被拆分到多个k8集群中，我也不需要拆分日志记录，并且相信在一个集中的位置找到所有集群中的pods的日志会更容易。对kibana/elasticsearch的维护也更少。使用EFK for Kubernetes，我可以将来自多个k8集群的Fluentd指向单个Elasti

浏览 7提问于2019-12-05得票数 0

1回答

向使用systemd的kubernetes集群添加集中式日志记录

logging、kubernetes、fluentd

我正在尝试使用EFK将集中式日志记录添加到kubernetes集群。我发现我写到system out的pod中的日志存储在我的主节点的日志中。但我想将这些日志存储在elasticsearch中。是否可以更改docker配置以将日志重定向到var日志？我尽量避免从自定义位置的pod中进行登录。或者，我可以使用fluentd或其他工具从journald截取日

浏览 0提问于2018-09-06得票数 2

2回答

用fluentd解析数据

logging、elasticsearch、logstash、kibana、fluentd

我已经很流畅地运行了elasticsearch，并且我正在使用rsyslog从几台Unix机器上转发日志(基本上是转发所有日志)。我不知道这是否可以直接在Kibana中完成，还是必须用fluentd进行解析。我见过不同日志设置的例子，但当涉及

浏览 1提问于2013-11-22得票数 2

2回答

Kubernetes -如何聚合应用程序日志

kubernetes

将这些日志发送到Elasticsearch (或类似平台)的最佳方法是什么？我通读了关于这个日志记录架构-Kubernetes5的信息。“带有日志代理的Sidecar容器”是我的用例的最佳选择吗？如果可行，可以使用像fluentd这样的日志记录代理。(我只想知道我应该走的方向)。

浏览 0提问于2018-06-14得票数 1

4回答

如何将运行在GCP之上的Kubernetes上的日志从荚传送到elasticsearch/logstash？

kubernetes、google-cloud-platform、fluent、google-kubernetes-engine

我想把stdout和stderr从它们(在豆荚中运行)带到我的集中式逻辑仓库。是否有一种简单的方法将日志从荚转发到外部日志记录服务，例如logstash或elasticsearch？

浏览 14提问于2016-10-11得票数 7

回答已采纳

1回答

使用DLQ和ElasticSearch的卡夫卡消费者

elasticsearch、apache-kafka、logstash、apache-kafka-connect、fluentd

我有以下集群：我的问题是如何选择最有效的日志收集器(或者其他一些允许管理Kafka和ElasticSearch之间数据流的软件)。我正在尝试从Logstash、Fluentd和Confluent的Kafka Elasticsearch连接器中进行选择。如果未启用DLQ，则将发出日志消息，并删除事件”()。如果我有这样的错误，logstash将</em

浏览 1提问于2018-10-19得票数 0

2回答

如何将气流日志写入Elasticsearch？

airflow、airflow-scheduler

似乎找不到有关如何使用Elasticsearch设置远程日志记录的完整文档或示例。我见过，但没什么用。我正在尝试将气流(而不是任务)日志写入ES。

浏览 1提问于2019-10-12得票数 2

3回答

如何将应用日志从docker容器转发到Splunk？

docker、logging、syslog、splunk

我们感兴趣的是将日志从运行在Docker容器中的node.js服务器转发到Splunk。理想情况下，我们只需使用syslog排泄或其他机制，但我似乎找不到任何关于如何设置的文档？

浏览 3提问于2018-11-14得票数 3

点击加载更多