为什么ElasticSearch有时不显示Logstash发送的最新日志？
ElasticSearch有时不显示Logstash发送的最新日志的原因可能有以下几个方面：
- 网络延迟：Logstash将日志发送给ElasticSearch时，可能由于网络延迟导致日志在ElasticSearch中的索引和搜索操作之间存在一定的时间差。这可能会导致在搜索最新日志时出现一定的延迟。
- 索引刷新机制：ElasticSearch默认采用了一种称为“近实时（near real-time）”的索引刷新机制。这意味着索引操作不会立即对搜索结果产生影响，而是在一定的时间间隔后才会被刷新到可搜索状态。因此，如果Logstash发送的日志在索引刷新之前进行了搜索操作，可能无法看到最新的日志。
- 索引配置问题：ElasticSearch的索引配置也可能导致日志不显示的问题。例如，如果索引的时间范围设置不正确，可能导致搜索时无法包含最新的日志。此外，如果索引的分片和副本配置不合理，也可能导致数据不一致或搜索结果不准确。
解决这个问题的方法可以包括：
- 调整索引刷新机制：可以通过修改ElasticSearch的索引配置，将索引刷新时间间隔缩短，以便更快地将日志刷新到可搜索状态。具体的配置方法可以参考ElasticSearch的官方文档。
- 手动刷新索引：在进行搜索操作之前，可以手动触发索引的刷新操作，以确保最新的日志已经被刷新到可搜索状态。可以使用ElasticSearch提供的API或者命令行工具来执行刷新操作。
- 检查网络连接和延迟：确保Logstash和ElasticSearch之间的网络连接正常，并且延迟较低。可以使用网络诊断工具来检查网络连接的稳定性和延迟情况。
- 检查索引配置：仔细检查ElasticSearch的索引配置，确保时间范围、分片和副本配置等参数设置正确。可以参考ElasticSearch的官方文档或者相关的技术博客来了解更多关于索引配置的信息。
腾讯云相关产品推荐：
- 腾讯云Elasticsearch：https://cloud.tencent.com/product/es
- 腾讯云日志服务CLS：https://cloud.tencent.com/product/cls
相关·内容
1回答
我有一个与logstash和elasticsearch有关的问题。
当我试图通过logstash将日志从远程计算机发送到我的elasticsearch服务器时，就可以创建索引。但是，当我试图通过logstash从承载elasticsearch的服务器发送日志时，没有创建索引，什么也没有发生。来自logstash的日志</
浏览 1提问于2014-03-24得票数 0
我的Logstash将日志发送到ElasticSearch，在Logstash输出文件中，我看到发送了新的日志，但当单击Kibana发现页面中的刷新时，它们不显示。Discover页面显示大约1小时前的日志。 导致此问题的原因是什么？有没有办法检查一条记录是否在ElasticSearch中，而不是使用Kiban
浏览 51提问于2020-08-24得票数 0
回答已采纳
1回答
我有一个麋鹿设置与弹性搜索，LogStash和基巴纳运行在一个VM。日志是使用来自另一个VM的文件节拍从另一个服务发送的。弹性搜索的版本是: 0:6.2.4-1问题：
当文件节拍启动时，它立即开始发送日志。所有这15分钟，日志存储和ES实际上正在接收日志，只是Kibana刷新被禁用。
浏览 0提问于2018-05-15得票数 0
回答已采纳
我一直试图将日志从logstash发送到elasticsearch.Suppose，我正在运行一个logstash实例，在它运行时，我会更改logstash实例正在监视的文件，然后再次保存以前保存在elasticsearch中的所有日志，从而形成重复的日志。另外，当logstash实例关闭并再次重新启动时，日志将在elasticsearc
浏览 5提问于2015-02-10得票数 3
回答已采纳
我使用Logstash将日志数据发送到Elasticsearch数据库。然后，我使用输出集启动logstash，将日志发送到Elasticsearch。没有与模板相关的设置。发送日志数据后，我看到碎片的数量被设置为默认值(3)。我甚至试图通过引用Logstash配置文件中的模板来覆盖它。不，不管我指定什么设置都会被重置回来。看起
浏览 0提问于2014-09-03得票数 1
回答已采纳
设置如下：logstash将其解析为GELF我知道Logstash使用elasticsearch，graylog也使用这里的问题是：
当我使用这个标志--backend 'elasticsearch:///?local'运行logstash并将数据发送到grayl
浏览 0提问于2012-02-22得票数 0
我阅读了关于设置Logstash、Elasticsearch和Kibana的，作者建议使用NXLog从不同的机器传输日志。“Logstash Book”中介绍了一个典型的分布式场景，展示了如何在运输和索引角色中使用Logstash。我们目前正在试验Logstash，将其设置为将日志发送到Elasticsearch非常简单。所以我想知道为什么人们选择NXLog作为<
浏览 0提问于2014-09-05得票数 7
回答已采纳
我正在研究从我们的CentOS6.x服务器上进行集中日志文件聚合的解决方案。在安装Elasticsearch/ Logstash /Kibana (ELK)堆栈后，我遇到了一个Rsyslog om弹性搜索插件，它可以以logstash格式将消息从Rsyslog发送到Elasticsearch，并开始问自己为什么需要Logstash。Logstash有许多不同的输
浏览 3提问于2015-08-20得票数 12
回答已采纳
TLDR
我正在尝试使用一个被坞化的弹性堆栈来解析2个日志文件。堆栈接受添加到/usr/share/filebeat/scrape_logs文件中的日志，并通过logstash将它们存储在elasticsearch中。我看到日志到达logstash，它们如下所示，但是当我从kibana运行查询GET /_cat/indices/时，没有索引。' >> beat_
浏览 5提问于2021-03-15得票数 0
回答已采纳
2回答
我在bluemix中使用容器，我只是在环境变量中提到我的日志路径，从而将我的自定义应用程序日志转发给Kibana。现在我能在Bluemix仪表盘上看到我的日志了。但问题是，它没有解析我的日志，而且我的自定义日志中的所有信息都显示在消息字段中。我希望在不同的列中看到不同的信息，这样我就可以进行所有的过滤和搜索，例如，我希望从我的自
浏览 10提问于2016-12-12得票数 0
回答已采纳
1回答
我们已经将tcp-log插件配置为使用Logstash作为端点将日志发送到Logstash，然后Logstash将将日志发送到Elasticsearch。江tcp-日志插件-> Logstash ->弹性搜索如何使用Kibana显示Kong API网关日志？从哪里开始？默认情况下，在Elasticsear
浏览 6提问于2022-11-09得票数 0
回答已采纳
我有logstash设置来将输出发送到弹性搜索：}
日志文件中有许多行数据，stdout显示所有这些行都被解析和格式化。但是，当我使用match_all查询查询elasticsearch时，返回的唯一结果是日志
浏览 4提问于2014-10-06得票数 2
回答已采纳
我将我的ELK部署在一个ec2实例上，并在另一个实例上运行一个被篡改的应用程序。我试图使用g亲自收集不同的服务日志并发送到logstash。但我现在的配置不起作用。这是我的docker.yaml文件和logstash文件。对于gelf address，我使用了运行logstash的实例的私有ip --这就是我在这个用例中应该使用的吗？我遗漏了什么？driver:
浏览 6提问于2022-10-03得票数 0
然而，当我访问pageI时，获得以下错误：
http.cors.enabled: true我的Elasticsearch
浏览 6提问于2015-07-21得票数 0
回答已采纳
1回答
我是新来的。我有一个问题，我想要建立自定义的逻辑仓库码头形象。我的码头形象应该会把日志推到基巴纳仪表板上。你有什么建议吗？或者有人有文档库示例吗？
谢谢
浏览 5提问于2022-08-29得票数 0
4回答
{ hosts => ["xx.xx.xx.xx:9200"]}LOGGING = { 'handlers': {
'logstash<
浏览 12提问于2017-07-15得票数 14
回答已采纳
你好，我在logstash的输出中做了一个条件语句，但是else语句不起作用。当我发送INFO日志时，它们会进入if语句，但当我发送与这些日志不同的日志时，它们不会进入else语句，也不会显示在tpms-system索引中。*\[ELASTICSEARCH\].*" or [message] =~ "\D\[INFO\]:.*\[ELASTICSEARCH\].*" {
浏览 47提问于2019-02-19得票数 0
回答已采纳
嗨，作为一个弹性新手，我对为什么我们需要fileBeat将日志发送到ElasticSearch(ES)或Logstatsh有疑问。据我所知，我们可以直接从文件中读取日志，然后发送到logstash，然后从那里发送到ES。如果允许前者，那么为什么我们需要FileBeat作为日志和日志存储之间的中间层。我所知道的：xyzlogfile--->logsta
浏览 0提问于2017-09-19得票数 4
我正在使用logstash，elasticsearch和kibana。我的logstash配置文件如下。start_position => "end" } stdout { codec => rubydebug }}
当我在windows环境中运行Logstash</em
浏览 0提问于2014-08-13得票数 3
我有一个logstash服务器将事件发送到elasticsearch服务器，该服务器在Kibana中显示结果。一切都很好，除了Kibana在主机上显示了2个名字。然而，当我在Kibana看到它时，它显示如下： "logstash1",],
其中，logstash1是执行解析并发送到elast
浏览 0提问于2013-12-18得票数 2
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM活动推荐
腾讯云开发者
