filebeat + kubernetes + elasticsearch不保存特定字段
filebeat是一款用于日志文件采集和传输的开源工具。它可以监控指定目录下的日志文件，将日志数据发送到指定的目标系统，如elasticsearch。filebeat采用轻量级的方式进行数据传输，具有低资源消耗和高性能的特点。
Kubernetes是一个开源的容器编排平台，用于自动化部署、扩展和管理容器化应用程序。它提供了弹性伸缩、容错恢复、负载均衡等功能，简化了容器应用的部署和管理流程。
Elasticsearch是一个开源的分布式搜索和分析引擎，具有高性能、可扩展和实时性的特点。它可以用于实时检索、分析和可视化大规模数据集。
在filebeat + kubernetes + elasticsearch的组合中，不保存特定字段可能是为了减少存储空间或保护敏感信息的需要。为了实现不保存特定字段，可以通过filebeat的配置文件进行过滤，将不需要的字段排除在外。
具体操作可以参考以下步骤：
- 在filebeat配置文件中定义需要采集的日志文件路径和格式。
- 配置filebeat的输出目标为elasticsearch，指定elasticsearch的地址和端口。
- 在filebeat的配置文件中通过processors选项对日志事件进行处理，包括对字段的过滤、重命名、转换等操作。
- 在processors中使用drop_fields或include_fields选项来排除或包含特定字段。可以根据字段名或通配符进行配置。
- 启动filebeat，它会监控指定的日志文件，并将过滤后的日志数据发送到elasticsearch进行存储和分析。
推荐腾讯云相关产品：
- 对于日志采集和传输，腾讯云提供了CLS（Cloud Log Service）产品，它可以方便地进行日志采集、存储和分析。CLS支持多种数据源和数据格式，具有高可用性和弹性扩展的特点。详细介绍请参考：https://cloud.tencent.com/product/cls
- 对于容器编排平台，腾讯云提供了TKE（Tencent Kubernetes Engine）产品，它是基于Kubernetes的容器服务。TKE提供了简单易用的界面和丰富的功能，包括自动伸缩、负载均衡、安全隔离等。详细介绍请参考：https://cloud.tencent.com/product/tke
- 对于搜索和分析引擎，腾讯云提供了ES（Elasticsearch Service）产品，它是基于Elasticsearch的托管式服务。ES提供了自动化部署、弹性伸缩和实时分析的功能，可以方便地进行搜索和分析大规模数据。详细介绍请参考：https://cloud.tencent.com/product/es
相关·内容
我已经使用minikube、Elasticsearch和Kibana 6.8.6以及Filebeat 7.5.1设置了一个示例Kubernetes集群。false
providers: hints.enabled:
hosts: ['${ELASTICSEARCH_HOST:elasticsearch}:${
浏览 52提问于2019-12-31得票数 0
我创建了一个名称空间来获取带有filebeats的日志并保存到elasticsearch。为什么不保存在example上搜索关于Kubernetes的字段如何示例遵循？Kubernetes fields "kubernetes" : { "app" : "MY-APP",` configuratio
浏览 152提问于2020-01-23得票数 1
1回答
我目前正在尝试从我的kubernetes集群获取日志到外部ElasticSearch/Kibana。文档页面告诉我，我需要在output.elasticsearch部分创建am索引键，但是我不知道在值中添加什么。
浏览 1提问于2020-02-12得票数 0
我正在设置管道，将kubernetes pods日志发送到elastic cluster。我已经在我的集群中安装了filebeat作为deamonset (stream: stdout)并将输出连接到logstash。这是我的配置： kubernetes.yml: |- containers: over
浏览 134提问于2020-03-06得票数 3
回答已采纳
这是我的filebeat.yml文件： filebeat.config: path: ${path.config}/modules.d/*.ymlreload.enabled: false
- add_cloud_metadata: ~ - add_kubernetes_metadata: ~
hosts: &
浏览 91提问于2021-09-09得票数 0
我们正在通过filebeat向Elasticsearch注入数据，并且遇到了一个配置问题。filebeat.yml
#rest of the
浏览 2提问于2018-08-02得票数 1
3回答
处理器和滤波
、、、、
我正在尝试使用File节拍将我的K8s荚日志发送到Elasticsearch。所有的事情都像预期的一样工作，但是我想从系统荚中过滤掉事件。labels: kubernetes.io/cluster-service: "true" kubernetes.yml: |-.*"
kubernetes.pod.name: "filebeat</e
浏览 8提问于2017-12-07得票数 2
回答已采纳
我正在尝试使用File节拍从Kubernetes节点收集日志，如果日志来自特定的Kubernetes Namespace，则将它们发送给ELK。filebeat.config: path: ${path.config}/inputs.d/*.yml reload.period: 10s kubernetes.namespace: "NAMES
浏览 2提问于2019-04-01得票数 0
回答已采纳
我在Kubernetes中安装了一个文件节拍的-> logstash -> elasticsearch -> kibana堆栈，其中包含了头盔图表：
helm install --name filebeatstable/filebeat -f filebeat_v
浏览 1提问于2018-09-11得票数 4
apache/airflow:2.1.2镜像在我的k8s集群上部署apache-airflow airflow使用kubernetesExecutor作为其执行器，我在管理日志方面遇到了一些麻烦 我正在使用elasticsearch进行远程日志记录(logstash+filebeat用于日志聚合) 我可以看到日志显示在我的elasticsearch集群中，其中包含所有重要字段(log_id、offset)，但是当我尝试在我的airflow-web附录： 这是我的filebeat.yaml文件，它
浏览 34提问于2021-08-13得票数 0
我的任务是创建一个中央日志服务器。在我的例子中，有许多web应用服务器遍布各地。我的任务是从这些不同的服务器获取日志，并在中心服务器中进行管理，在中心服务器中将有elastic-search和kibana。
浏览 7提问于2020-01-06得票数 0
回答已采纳
我使用麋鹿堆栈(elasticsearch，logsash，kibana)在Kubernetes (minikube)环境中进行日志处理和分析。为了捕获日志，我使用filebeat。日志被成功地从文件传输到elasticsearch，并且可以在Kibana查看。
主机:
浏览 1提问于2017-03-27得票数 4
回答已采纳
Filebeat 建议有decode_json_fields处理器；但是，我在Kinbana中将消息字段作为一个JSON获得，没有任何未包装的内容。我是ElasticSearch的新手，但我不打算用它作为不首先做分析的借口。只是为了解释一下，我不知道哪些信息有助于回答这个问题。when.not.contains.tags: forwarded - add_docker_metadata: ~
- add_kubernetes_metadata如果
浏览 1提问于2021-03-14得票数 0
回答已采纳
提供/过滤日志 - add_docker_metadata: ~ - decode_json_fields: fields: ["agent", "host", "log", "ecs", "input",
浏览 14提问于2022-05-19得票数 0
我对ELK非常陌生，我已经设置了一个ELK堆栈，FileBeat将日志发送到LogStash进行一些处理，然后输出到Elasticsearch。我想知道是否有可能维护filebeat.yml中设置的索引名，直到Elasticsearch。我之所以要这样做，是因为我需要为生成日志的不同类型的应用服务器建立多个索引。我只想让它使用FileBeat中设置的内容。# Optio
浏览 1提问于2020-04-01得票数 3
回答已采纳
查看有关添加字段的文档，我发现FileBE拍可以按名称和值添加任何自定义字段，这些字段将被附加到由FileBE拍推送到Elasticsearch的每个文档中。这在filebeat.yml中定义：- add_fields: fields:有没有一种方法，严格地从filebeat.yml开始，也给在这里添加
浏览 248提问于2020-02-14得票数 0
@timestamp August 30th 2019, 13:44:59.136_index filebeat
浏览 0提问于2019-08-30得票数 0
回答已采纳
然而，在意外请求/响应格式中可能存在非常大的xml/json字段。因为请求/响应可以是SOAP ( xml )或rest ( json )，所以我只想删除这个特定的字段/节点，而不考虑json或XML结构中的哪个级别。换句话说，我不知道以前的响应/请求消息树/结构，我不想丢弃整个消息的整个大小，只丢弃一个大于特定大小的特定字段/节点。volumes:
- "//c/U
浏览 32提问于2020-05-15得票数 2
回答已采纳
1回答
由于我们使用具有不同用途的不同服务器，因此我们将FIlebeat配置为将日志发送到每个服务器的一个特定索引。Beta Index:Beta Test Index:Test Build Index:Jenkins我的输出是： elasticsearch {
hosts => ["172.31.28.8index =>
浏览 7提问于2016-09-19得票数 1
回答已采纳
我已经在elasticsearch.The中创建了一个名为filebeat的索引，日志数据由filebeat代理在elasticsearch中发送。我想根据一个名为value_of_type的特定列/字段来过滤结果。total":5,"successful":5,"failed":0},"hits":{"total":0,"max_score":null,"h
浏览 4提问于2017-05-07得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM活动推荐
腾讯云开发者
