我试图将日志转发到elastic-search,但在动态设置索引(通过输入数据中的字段)时遇到了问题。
我的输入数据格式是JSON,并且总是有键"es_idx“。我希望通过该键转发到elasticsearch并添加时间戳,我使用fluentd实现时间戳功能,使用logstash_prefix设置除“logstash_format”之外的索引名
这是我的fluentd配置的样子:
# fluentd/conf/fluent.conf
<source>
type stdin
# Input pattern. It depends on Parser plugin
f
我有一个服务,被部署到一个kubernetes集群中,fluentd集作为一个守护进程集。我需要使它收到的日志多样化,这样它们就会在不同的s3桶中结束。一个桶将用于由kubernetes和我们的调试/错误处理代码生成的所有日志,另一个桶将是由服务生成的日志子集,由结构化记录器解析,并由json中的特定字段标识。想想看,一个桶是用于机器状态和错误的,另一个是用户操作的"user_id created resource image_id at ts“描述。
服务本身对流畅性一无所知,因此我无法手动为日志设置标记,因为我希望它们以哪个s3桶结尾。现在,我使用的fluentd.conf s3是