LOGSTASH:如何设置logstash来获取所有查询的数据，而不仅仅是其中的一部分？
LOGSTASH是一个开源的数据收集引擎，用于将不同来源的数据进行收集、转换和传输。要设置logstash来获取所有查询的数据，而不仅仅是其中的一部分，可以按照以下步骤进行操作：
- 安装和配置Logstash：首先，需要安装Logstash并进行基本配置。可以从官方网站（https://www.elastic.co/logstash）下载并安装Logstash。然后，根据实际需求进行配置，包括输入、过滤和输出插件的设置。
- 配置输入插件：在Logstash配置文件中，需要指定输入插件来获取数据。根据数据源的类型选择相应的输入插件，例如Filebeat、Beats、Kafka、JDBC等。配置输入插件时，可以设置参数来确保获取所有查询的数据，例如设置读取整个文件而不仅仅是尾部的数据。
- 配置过滤插件：如果需要对获取的数据进行过滤或转换，可以配置过滤插件。例如，可以使用grok插件来解析日志数据的结构化字段，或者使用mutate插件来修改字段值。根据实际需求选择并配置适当的过滤插件。
- 配置输出插件：最后，需要配置输出插件来将处理后的数据发送到目标位置。可以选择将数据发送到Elasticsearch、Kafka、Redis等存储或消息队列系统，或者将数据输出到文件、终端等。根据实际需求选择并配置适当的输出插件。
通过以上步骤设置Logstash，可以确保获取所有查询的数据而不仅仅是其中的一部分。根据具体的应用场景和需求，可以进一步优化配置，例如使用多个输入插件、过滤器和输出插件来处理不同类型的数据。
腾讯云相关产品和产品介绍链接地址：
- 腾讯云Logstash产品介绍：https://cloud.tencent.com/product/logstash
相关·内容
1回答
LOGSTASH:如何设置logstash来获取所有查询的数据，而不仅仅是其中的一部分？
postgresql、elasticsearch、logstash、logstash-configuration、logstash-jdbc
我有一个包含400+记录的数据库表，但每次我使用logstash和JDBC时，它只得到126条记录。我尝试了很多次，每次都使用不同的索引，但仍然只有126次检索。test_predictions"}
} 当我检查行数时，我发现它有400+记录，这里是select语句： SELECT * FROM xfailure; 以下是记录列的示例
浏览 52提问于2020-10-08得票数 0
回答已采纳
1回答
如何将日志存储数据导出到外部数据库
elasticsearch、logstash
我已经设置了logstash实例，github日志将转发到这个logstash实例。我需要运行该查询，以便从数据库查询之类的logstash中获取信息。请告诉我如何将logstash连接到oracle数据库，并从DB获取logstash信息。
谢谢
浏览 2提问于2015-03-26得票数 1
回答已采纳
1回答
如何管理从多个节拍到集中式Logstash的输入
elasticsearch、logstash、kibana-4、logstash-configuration、filebeat
我想使用Elastic Stack进行日志聚合，以便从10台机器获取日志。我希望在10台机器上安装Filebeat，并从每台机器获取日志并将其发送到安装在单独机器上的集中式Logstash服务器。在单独的机器上，安装了Logstash Elasticsearch & Kibana。我需要Logstash，因为我想在使用beats收集日志后对数据进行处理和解析。根据这个架构，我面临着一些识别和解析日志的问题。如何</em
浏览 13提问于2016-08-13得票数 5
2回答
标识logstash jdbc SQL语句何时完成执行
logstash、logstash-jdbc
我已经设置了一个logstash管道，使用jdbc输入和elasticsearch输出监视logstash.conf的目录。我启用了.logstash_jdbc_test_last_run，它记录执行查询的时间：在命令行上运行logstash时，我的管道成功地处理了logstash文件：
[2019-08-23T15:26:48,168][IN
浏览 0提问于2019-08-23得票数 0
回答已采纳
1回答
是否可以将ElasticSearch聚合的结果放回索引中？
elasticsearch、elasticsearch-aggregation
因此，我有一个包含从主机A到主机B的ping数据的索引，我的数据如下所示： "@version" => "1", "value" => "25.6",
"from_host" => "host_a&quo
浏览 1提问于2014-07-18得票数 4
4回答
如何为Logstash输入MongoDB类型
mongodb、elasticsearch、logstash
我知道我们可以输入文件，然后输出到mongo数据库。但是我的mongodb中有一个集合，我希望它作为输入，这样我就可以在ES中使用它。这个是可能的吗？谢谢。
浏览 5提问于2014-12-01得票数 7
回答已采纳
2回答
是否可以将作为web服务公开的日志数据输入到Elasticssearch？
elasticsearch、flume、logstash、kibana、fluentd
我有许多应用程序运行在不同的数据中心，由不同的供应商开发和维护。每个应用程序都有一个web服务来公开相关的日志数据(审计数据、安全数据、与成本计算相关的数据、性能数据、.)。为申请而合并。我的任务是将来自每个系统的数据放入Elasticsearch、Kibana和Logstash的设置
浏览 3提问于2014-03-19得票数 1
回答已采纳
1回答
在grafana指标中@是什么意思？
elasticsearch、grafana
在dokus中，我一次又一次地看到@timestamp或@value之类的东西。这是你在什么地方设置的变量吗？
这可以用于任何elasticsearch数据库吗？我在没有metricbeats…的情况下连接弹性只有当我经过一个对象时才能找到时间戳。均值: object.timestamp
浏览 3提问于2018-09-09得票数 2
1回答
没有从logstash 1.5.4获得每个错误电子邮件警报
elasticsearch、logstash、kibana-4
我的麋鹿设置如下：HOST2: Redis + Elasticsearch + Logstash (基于解析数据并在相同设置下发送给elasticsearch )HOST4: nginx+ Kibana 4
现在
浏览 2提问于2015-09-03得票数 0
1回答
协调多个Logstash实例的操作
elasticsearch、logstash、elastic-stack
最近，我一直在研究如何设置elasticsearch集群，并好奇如何协调多个logstash实例之间的操作。我需要定期从数据库中索引数据，这可以使用jdbc输入插件来完成。我的问题是，我不知道如何在多个logstash实例之间协调这个操作。例如，如果我只在一个实例上运行该操作，并且该实例会下降，则数据将不会被输入elasticsearch中。另一方面，如果我在多个实例上运行该操作，
浏览 5提问于2015-11-12得票数 0
回答已采纳
1回答
Elasticsearch match_all只返回一个结果
elasticsearch、logstash
我有logstash设置来将输出发送到弹性搜索：}
日志文件中有许多行数据，stdout显示所有这些行都被解析和格式化。但是，当我使用match_all查询查询elasticsearch时，返回的唯一结果是日志
浏览 4提问于2014-10-06得票数 2
回答已采纳
1回答
到头来，这个设置不需要sincedb设置，可以重新启动并从文件头读取到末尾，我们都很高兴…至少在Logstash 6.4.1…之前现在没人高兴了。无论什么情况，如何迫使Logstash始终从文件开始读取数据？我使用的Logstash设置只是对Apache日志进行了一些过滤，以供输入。因此，我尝试使用下面的设置来读取文件 p
浏览 0提问于2018-09-24得票数 2
回答已采纳
2回答
JAVA中的PostgreSQL +弹性搜索同步
spring、postgresql、jpa、elasticsearch、spring-data
我们使用JAVA (JPA)，在应用程序中我们用PostgreSQL编写、修改和删除数据。
如何在PostgreSQL和弹性搜索之间同步数据？因此，他们将有相同的数据。
浏览 0提问于2018-02-27得票数 11
回答已采纳
6回答
如何收集不同节点的访问日志？
java、logging、cluster-computing、hybris
SAP Hybris不会将这些信息存储在数据库中，因此有必要搜索日志。每个节点都有一个类似log/tomcat/access.2018-11-22.log的文件。手动检查每个文件是不合理的。也许有一个众所周知的解决方案来解决这种情况？
浏览 5提问于2018-11-22得票数 0
6回答
如何收集日志到Elasticsearch
elasticsearch、elastic-stack
我在不同的服务器(许多机器)中有网络应用的日志。我如何收集这些日志在一个系统，我有弹性搜索和Kibana安装。当我搜索时，我只找到了显示logs、logstash、beats、elasticsearch和kibana都在一起的设置的教程。
浏览 13提问于2020-01-07得票数 4
回答已采纳
1回答
ELK堆栈配置
redis、logstash、kibana、elk
一些东西，即文件拍获取数据并将其发送给logstash
我需要创建一个elk系统，其中来自三个不同项目的数据被传递，存储和可视化。项目no2。还需要使用MongoDB，我需要将所有信息从一个表中获取到k
浏览 0提问于2021-02-15得票数 0
4回答
使用Filebeat和Logstash将日志文件推送到Elasticsearch中的区别
elasticsearch、logstash、elastic-stack、filebeat、elk
我正在试用麋鹿来可视化我的日志文件。我尝试过不同的设置：
有人能列出他们的不同之处以及何时使用哪种设置？如果不是这里，请指出正确的地方，如超级用户或DevOp或服务器故障。
浏览 5提问于2019-10-28得票数 8
回答已采纳
1回答
日志存储JDBC last_run元数据文件不更新
jdbc、logstash、logstash-configuration、logstash-jdbc
唯一的区别是，它包含的计划作业将使用相同的最后运行元数据文件，从我们的第一个配置。我们注意到，当它能够更新上一次运行的元数据时，文件的所有者是logstash。sudo chown logstash .last_run
我们的所有元数据文件都存储在/etc/logstash中，我们将其配置为所有</e
浏览 1提问于2021-02-24得票数 0
回答已采纳
1回答
ELK apache spark应用程序日志
apache-spark、elasticsearch、filebeat
如何配置Filebeats来读取apache应用程序日志。一旦应用程序完成，生成的日志将以不可读的格式移动到历史服务器。这里最理想的方法是什么。
浏览 2提问于2018-09-25得票数 2
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储活动推荐
腾讯云开发者
