在logstash中如何获取要追加到索引名称中的日期部分
在logstash中，可以使用date插件来获取要追加到索引名称中的日期部分。
具体步骤如下：
- 在logstash的配置文件中，使用date插件来定义一个日期字段，可以是从日志中提取的字段，也可以是当前时间。 例如，假设日志中的日期字段名为"timestamp"，可以使用以下配置：
- 在logstash的配置文件中，使用date插件来定义一个日期字段，可以是从日志中提取的字段，也可以是当前时间。 例如，假设日志中的日期字段名为"timestamp"，可以使用以下配置：
- 在输出配置中，使用索引名称中的日期部分作为字段值。 例如，假设要将日志索引到名为"logstash-YYYY.MM.dd"的索引中，可以使用以下配置：
- 在输出配置中，使用索引名称中的日期部分作为字段值。 例如，假设要将日志索引到名为"logstash-YYYY.MM.dd"的索引中，可以使用以下配置：
这样配置后，logstash会根据日期字段的值动态生成索引名称，将日志索引到对应的索引中。
推荐的腾讯云相关产品：腾讯云日志服务（CLS） 腾讯云日志服务（CLS）是一种全托管的日志管理与分析服务，可帮助用户实时采集、存储、检索和分析海量日志数据。CLS提供了灵活的日志采集、实时日志检索、日志分析与告警等功能，可广泛应用于日志分析、安全审计、业务监控等场景。
产品介绍链接地址：https://cloud.tencent.com/product/cls
相关·内容
1回答
在logstash中如何获取要追加到索引名称中的日期部分
ruby、filter、logstash
我尝试使用下面的logstash conf文件将数据加载到Elasticsearch中。我必须创建一个索引名，并附加其中一列(dw_isnert_dt)的日期部分。当我没有聚合这些数据来创建映射时，它工作得很好，但使用聚合时，它不会像预期的那样工作。所以假设dw_insert_dt的值是"2021-04-27“，那么索引名称就是"test_index_2021_04_27”。请帮助我，因为我<em
浏览 88提问于2021-04-28得票数 0
回答已采纳
1回答
Logstash 7没有在索引名称中添加日期戳
logstash、logstash-configuration
启动7.4.0实例后，logstash开始将数据放入一个名为"logstash“的索引中，而不是以前的"logstash-2019.10.24”。我更新了我的输出插件如下 elasticsearch { index => "logstash-%{+YYYY.MM.dd}"
浏览 2提问于2019-10-24得票数 0
回答已采纳
1回答
logstash将搜索结果限制在前一天
elasticsearch、logstash
我想在Logstash中的当前日期前一天使用Elasticsearch输入插件查询Elasticsearch的索引。我为logstash尝试了以下配置， elasticsearch hosts => ["localhost:9200"]index => "logstash-%{+YYYY.MM.dd-6}"
qu
浏览 0提问于2018-07-03得票数 1
回答已采纳
2回答
使用今日日期指定索引名的ElasticSearch查询
elasticsearch、logstash、kibana、timelion
我使用logstash在多台机器上使用来自我们的实时服务的许多度量来填充E。Logstash每天创建一个新的索引，我发现在没有指定索引的情况下查询ES，运行缓慢。(我目前维持5天的起诉书)。如果我指定了特定的索引，比如今天它运行得非常快，有什么方法可以使用日期<
浏览 5提问于2018-01-15得票数 1
回答已采纳
1回答
Logstash管道输出未创建请求的索引
logstash
我的输出插件配置如下： output { elasticsearch { ssl => true user => "logstash_internal"password => "x-pack-test-p
浏览 27提问于2020-10-28得票数 0
回答已采纳
1回答
删除旧索引elasticsearch？
elasticsearch、logstash、kibana
因此，按照默认配置，由ES创建"logsatash-YYYY-MM-DD"的新索引。因此，如果我已经将logstash配置为如下所示：因此，它正在读取旧日志，创建的索引名将是"logstash-2015-03-20"，因此该索引将包含以前日期的
浏览 3提问于2015-03-20得票数 1
回答已采纳
2回答
使用td-agent时，date未追加到elasticsearch索引名称
elasticsearch、fluent、fluentd、td-agent
当我使用logstash时，我需要将日志存储到Es索引中。将日期作为logstash追加到索引名。2018-08-06，但当我尝试在流动的conf中指定自定义名称时，它不会被添加 <store> host X.X.X.X logstash_format false
i
浏览 5提问于2018-10-03得票数 1
1回答
如何设置logstash.conf？
mysql、elasticsearch、logstash
我使用ElasticSearch5.1.1和logstash来使用mysql。-f logstash.conf "abc" } } }如何将此选项添加到conf文件中？如果我添加了更多有不同列的表，如何动态地设置document_id？
浏览 6提问于2017-01-03得票数 1
回答已采纳
1回答
在麋鹿的弹性搜索中，数据是如何被映射的？
elasticsearch、logstash、elastic-stack、elk
在logstash文件中，他们直接导入数据并发送给弹性搜索，如下所示，配置文件中没有提到任何索引，{
hosts => ["http://localhost在弹性搜索中，我可以看到41个索引(使用Get脚本)存在。假设如果我们在logstash中保持相同的设置，那么所有日志(多个源)都将以相同的方式
浏览 1提问于2020-04-08得票数 0
1回答
使用bash脚本删除logstash索引
linux、bash、elasticsearch、logstash
我正在寻找一种方法来删除旧的Logstash索引使用脚本，我的logstash索引被命名为logstash-2016.02.29, logstash-2016.03.01 ...的时候，我使用chrome的扩展称为Sense来删除索引。请看屏幕截图，或者我也可以使用curl删除索引，curl -XDELETE 'http://myIpAddress:9
浏览 1提问于2016-03-21得票数 0
1回答
将csv内容附加到现有的logstash索引
elasticsearch、logstash、kibana-4、elastic-stack
我有一个文件夹，一个用户将不断添加csv文件，以获取logstash。用户每天都会在这个文件夹中添加csv文件。csv文件将具有类似于yyyymmdd-dailyUsageData.csv的名称，即文件名以初始的几个字符作为日期。csv文件的内容将再次具有此日期值和其他一些列，即Date、colA、colB、colC等。要求每天将csv文件的内容加载到logstash/elasticSea
浏览 3提问于2016-04-22得票数 0
回答已采纳
1回答
尝试将csv数据导入elasticsearch，然后在Kibana中可视化
elasticsearch、logstash
我正在尝试将下面csv格式的数据导入elasticsearchDate,Amount,Type,Db/Cr,Desc workers => 1 stdout {}我正在执行以下命令
C:\MyDrive\Apps\logstash-2.0.0\bin>logstash
浏览 2提问于2015-11-14得票数 0
1回答
是否可以将ElasticSearch聚合的结果放回索引中？
elasticsearch、elasticsearch-aggregation
因此，我有一个包含从主机A到主机B的ping数据的索引，我的数据如下所示： "@version" => "1", "value" => "25.6",
"from_host" => "
浏览 1提问于2014-07-18得票数 4
1回答
使用ElasticSearch对XML文件进行索引和解析
parsing、indexing、elasticsearch、logstash
我需要将多个目录下的多个XML文件索引到ElasticSearch中，并将它们解析为JSON格式，可能还需要添加一些标记。可以用ElastichSearch和Logstash来完成吗?
浏览 14提问于2014-10-09得票数 3
1回答
弹性搜索中的滚动指标
elasticsearch、logstash
我看到了很多关于如何使用logstash在Elasticsearch中创建滚动索引的主题。但是，是否有一种方法可以实现同样的目标，即在elasticsearch中每天创建索引而不使用logstash？我来了一个交叉的帖子，上面写着要运行cron作业来创建日期滚动的索引，但是这是我必须做的手工工作，如果在elas
浏览 3提问于2016-03-16得票数 0
回答已采纳
1回答
日志存储单输入多输出
elasticsearch、logstash-configuration、filebeat
我已经将logstash配置为从一个filebeat端口获取输入。使用两个不同的路径配置的File节拍。是否可以将日志显示到两个不同的索引中？Logstash输入部分：beats type => "stack" } prospectors:paths:
- E:/&#
浏览 2提问于2016-03-15得票数 3
回答已采纳
1回答
Logstash管道没有显示在Kibana上，但是日志显示管道正在运行
elasticsearch、docker-compose、logstash、kibana、elasticsearch-8
: container_name: logstash - ELASTICSEARCH_HOSTS=http/logstash/:/logstash command: logstash -f /logstash/l
浏览 7提问于2022-08-27得票数 0
1回答
为logstash中的新字段设置弹性搜索分析器
logging、elasticsearch、logstash
通过使用GROK filter，我们可以向Logstash添加新字段。这怎么能在逻辑仓库里完成。
浏览 2提问于2013-12-08得票数 6
回答已采纳
1回答
EFK (Elasticsearch+Fluentd-(td-agent)+ Kibana )：Kibana没有显示正确的日志
linux、elasticsearch、kibana、fluentd、td-agent
我已经在redhat linux系统(7.6版)上安装了EFK。fluentd的稳定分布，即使用td-agent代替fluentd。在td-agent.conf文件中配置日志文件的路径(/mnt/ log /Startup.log)。但在kibana仪表板上，它会显示td-agent.log中的内容，而不是日志文件(Startup.log)。它仍然在kibana仪表板上显示td-agent.log中<em
浏览 420提问于2020-09-04得票数 0
1回答
每拍搜索多个指数？
elasticsearch、logstash、filebeat、metricbeat
我使用的是文件节拍，我也想介绍节拍。文件节拍输出是在logstash-*中索引的，但是我需要一个不同的索引，它只需要来自Metric节拍的数据(例如metricbeat test-%{+YYYY.MM.dd})，这些数据将在一台服务器上一起运行我如何指示logstash索引logstash中的文件-*，如果是节拍，继续使用另一个
浏览 4提问于2016-12-16得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频活动推荐
腾讯云开发者
