我已经在K8s集群中设置了EFK堆栈。目前,fluentd是从所有容器中抓取日志。
我希望它只从容器A、B、C和D中刮取日志。
如果我在as A-app中有一些前缀,我可以这样做。
"fluentd-inputs.conf": "# HTTP input for the liveness and readiness probes
<source>
@type http
port 9880
</source>
# Get the logs from the co
我正在尝试在ElasticSearch集群上设置EFK (ElasticSearch 8、FluentD和Kibana)堆栈(现场)。
我遵循这个安装elasticsearch,并使用helm图表安装它,并遵循这个安装fluentd
fluentd和elasticsearch的输出
[root@ctrl01 ~]# kubectl get pods
NAME READY STATUS RESTARTS AGE
elasticsearch-master-0
我对使用http_out和http_in插件的流利用户之间的通信有问题。我有两个kubernetes集群,我希望第一个集群中的fluentd将它的日志发送到第二个集群中的fluentd。但是当流利-A试图发送它收到的日志时:
#0 got unrecoverable error in primary and no secondary error_class=Fluent::UnrecoverableError error="400 Bad Request 400 Bad Request\n'json' or 'msgpack' parameter is
我们在Google cloud Dataproc集群上运行spark作业(大量spark流)。
我们正在使用云日志记录来收集spark作业生成的所有日志。目前,它正在生成大量的"INFO“消息,这导致整个日志卷的大小只有几TB。
我想编辑google-fluentd配置,将日志级别限制为"ERROR“级别,而不是"INFO”。
已尝试将配置设置为"log_level error",但不起作用。在/etc/google-fluentd/google-fluentd.conf的评论部分中也提到了它是# Currently severity is a sepe
我试图将日志转发到elastic-search,但在动态设置索引(通过输入数据中的字段)时遇到了问题。
我的输入数据格式是JSON,并且总是有键"es_idx“。我希望通过该键转发到elasticsearch并添加时间戳,我使用fluentd实现时间戳功能,使用logstash_prefix设置除“logstash_format”之外的索引名
这是我的fluentd配置的样子:
# fluentd/conf/fluent.conf
<source>
type stdin
# Input pattern. It depends on Parser plugin
f
我正在尝试为VMWare的Fluentd operator [1]挂载Kubernetes configmap。我查看了文档,helm图表表明您必须指定一个额外的卷作为名为fluentd.extraVolumeMounts的参数 我用来安装操作员的舵表如下: #!/bin/sh
# helmenv set to helm3
CHART_URL='https://github.com/vmware/kube-fluentd-operator/releases/download/v1.12.0/log-router-0.3.3.tgz'
# Set environment v
我有一个fluentd.conf文件,我试图在我的迷你库集群中使用(复制)它(在一个码头容器中工作得很好)。这些步骤如下:
将使用以下命令构建(在我的minikube docker -env中)码头映像:
FROM fluent/fluentd:v1.11-1
# Use root account to use apk
USER root
# below RUN includes plugin as examples elasticsearch is not required
# you may customize including plugins as you wish
R