如何在使用Logstash时自动更新Elasticsearch索引
在使用Logstash时，可以通过以下步骤实现自动更新Elasticsearch索引：
- 确保Logstash和Elasticsearch已经安装和配置正确。
- 创建一个Logstash配置文件，该文件定义了从数据源到Elasticsearch的数据流转过程。配置文件中需要包含以下几个关键部分：
- 输入(Input)：指定数据源，可以是文件、数据库、消息队列等。例如，使用file插件可以监听指定目录下的日志文件。
- 过滤器(Filter)：对输入的数据进行处理和转换。可以使用各种过滤器插件，如grok、mutate、date等。例如，使用grok插件可以解析日志文件中的结构化数据。
- 输出(Output)：指定数据的目标位置，这里是Elasticsearch。需要使用elasticsearch插件，并配置Elasticsearch的连接信息。
- 在Logstash配置文件中，设置合适的触发机制来实现自动更新Elasticsearch索引。可以使用以下两种方式：
- 定时触发：使用schedule参数设置定时任务，例如每天、每小时或每分钟执行一次。可以使用cron表达式来定义触发时间。
- 监听文件变化：使用input插件的一些参数，如
sincedb_path和start_position，来监控文件的变化并自动更新索引。
- 启动Logstash，并指定配置文件路径。Logstash将根据配置文件中的设置，自动更新Elasticsearch索引。
总结起来，使用Logstash时自动更新Elasticsearch索引的步骤包括：安装和配置Logstash和Elasticsearch，创建Logstash配置文件，设置触发机制，启动Logstash。通过这些步骤，可以实现自动将数据源中的数据更新到Elasticsearch索引中。
腾讯云相关产品推荐：
- 腾讯云Logstash：https://cloud.tencent.com/product/logstash
- 腾讯云Elasticsearch：https://cloud.tencent.com/product/es
相关·内容
2回答
Logstash不添加字段
logstash、kibana、kibana-4、elasticsearch
我使用的是Logstash 1.4.2，我有下面的conf文件。
我希望在Kibana左边的"Fields“部分看到"received_at”、"received_from“和"description”的选项，但我没有。
我明白了
@时间戳
@版本
_id
_index
_type主机路径
我确实在右侧的_source部分看到了以下内容.
收到:2015-05-11 14:40 UTC received_from:PGP02 descriptionError1！
那么，回家吧，这些不会出现在“流行领域”的列表中吗？
我想过滤右侧，不要
浏览 1提问于2015-05-11得票数 1
1回答
使用logstash的数据类型转换
elasticsearch、logstash、logstash-grok
Basic是一个浮动字段。上述索引在elasticsearch中不存在。在使用logstash -f运行配置文件时，我也不例外。然而，在elasticsearch中反映和输入的数据显示Basic的映射为string。我该怎么纠正呢？如何对多个字段执行此操作？
input {
file {
path => "/home/sagnik/work/logstash-1.4.2/bin/promosms_dec15.csv"
type => "promosms_dec15"
star
浏览 4提问于2014-12-18得票数 0
回答已采纳
1回答
elasticsearch -使用logstash日期导入csv不解析为日期时间类型
elasticsearch、logstash、logstash-grok
我试图使用logstash将csv导入elasticsearch，我尝试了两种方法：
使用CSV
使用grok滤波器
1) csv的是我的日志文件：
input {
file {
path => "path_to_my_csv.csv"
start_position => "beginning"
sincedb_path => "/dev/null"
}
}
filter {
csv {
separator => ","
c
浏览 0提问于2017-06-14得票数 1
回答已采纳
3回答
基班纳:没有索引错误
syslog、rsyslog、elasticsearch、logstash、kibana
现有的答案都没有帮助，所以这里有一个新的问题。
Usecase:重定向syslog (或)监视静态文件。
我成功地安装了logstash (1.4.2)、elasticsearch(1.1.1)和kibana(3.0.1)，但仍在努力消除错误。
No results There were no results because no indices were found that match your selected time span
我可以访问http://example.com:9200 ->成功的200条消息
访问http://example.com:9200/_化名?很漂亮 -
浏览 0提问于2014-11-09得票数 3
2回答
如何获得ElasticSearch输出？
elasticsearch、logstash、elastic-stack
我想将我的日志文档添加到ElasticSearch中，然后在ElasticSearch中检查文档。以下是日志文件的连接：
Jan 1 06:25:43 mailserver14 postfix/cleanup[21403]: BEF25A72965: message-id=<20130101142543.5828399CCAF@mailserver14.example.com>
Feb 2 06:25:43 mailserver15 postfix/cleanup[21403]: BEF25A72999: message-id=<20130101142543.582839
浏览 0提问于2019-01-18得票数 1
1回答
文件-日志存储-多个Config文件-重复数据
elasticsearch、logstash、filebeat
我是个新手，不爱乱七八糟。我正在尝试为我的logstash实例设置多个配置文件。使用file节拍将数据发送到logstash。即使我为这两个logstash配置文件创建了过滤器，我也会得到重复的数据。
Logstash配置文件- 1：
input {
beats {
port => 5045
}
}
filter {
if [fields][env] == "prod" {
grok { match => { "message" => "%{LOGLEVEL:loglevel}] %{GREEDYD
浏览 1提问于2022-01-20得票数 0
回答已采纳
1回答
如何避免elasticsearch重复文档
elasticsearch、logstash
如何避免elasticsearch重复文档？
elasticsearch索引文档计数(20,010,253)与日志行计数(13,411,790)不匹配。
File input plugin.
File rotation is detected and handled by this input,
regardless of whether the file is rotated via a rename or a copy operation.
nifi：
real time nifi pipeline copies logs from nifi server to elk server
浏览 0提问于2018-02-03得票数 0
1回答
在合并两个数据源时，Logstash聚合映射只工作几行。
logstash、logstash-configuration
我使用的是最新版本的logstash(7.6.2)。我试图使用公共ID从两个不同的文件()合并行，在下面找到两个数据源的示例。另外，在我想要的输出下面找到。
示例数据1，列为ID、Country、State
111 US NY
112 IN KA
113 US MA
示例数据2，列为ID和
111 abc
111 abd
112 xyz
112 xya
113 qwe
113 qwr
所需的合并输出
111 abc US NY
111 abd US NY
112 xyz IN KA
112 xya IN KA
113 qwe US MA
113 qwr US MA
我尝试使用聚合，如下面的配置
浏览 4提问于2020-05-06得票数 0
1回答
Logstash没有弹性工作
elasticsearch、logstash
我正在尝试使用logstash管道将数据从CSV文件上传到运行在Google云上的弹性云。它会返回一个错误-
input{
file{
path => "/Users/apple/Desktop/master.csv"
start_position =>"beginning"
sincedb_path= "/dev/null"
}
}
filter{
csv{
separator => ","
columns => {"Category
浏览 0提问于2018-08-14得票数 1
回答已采纳
1回答
使用logstash的csv文件输入处理在2/3天后停止工作
elasticsearch、logstash
我正在使用logstash-1.5.1来处理csv文件并上传到elasticsearch-1.5.1。这个过程应该发生在每个day.So我把我的logstash和弹性搜索引擎打开一次，并离开它希望csv文件处理应该每天发生，并上传到elasticsearch.Every第一天新的csv文件是从互联网上下载并存储在本地文件夹中从logstash读取。但令人惊讶的是，logstash在2/3天后停止处理csv文件。我不知道原因，请帮助我。logstash输入文件配置如下。
input {
file {
type => "csv"
p
浏览 0提问于2015-08-27得票数 2
1回答
Logstash csv导入
csv、elasticsearch、logstash、kibana-4
我使用的是Ubuntu 14.04 LTS、Kibana、Logstash和Elasticsearch。我尝试了下面的代码将我的csv文件导入到LogStash，但是它没有检测到。
input
{
file
{
path => "/home/kibana/Downloads/FL_insurance_sample.csv"
type => "FL_insurance_sample.csv"
start_position => "beginning"
浏览 7提问于2015-08-13得票数 1
1回答
elasticsearch类型转换
types、elasticsearch、mapping、grok
我不清楚如何通过logstash将数据上传到具有适当类型的Elasticsearch
我的意思是，我有一个带有syslog消息的文件，其中包含一个日期部分:我在logstash中使用GROK解析标识%DATE的字符串和消息的其他部分，然后发送到输出elasticsearch {}：elsaticsearch中的日期显示为字符串，而不是日期。我希望这些数据在Elsaticsearch中使用正确的类型进行适当的限定。其他文件也一样，即使GROK解析为INT、DATE等，在Elasticsearch中看起来都是字符串，我该如何解决这个问题呢？
提前感谢
佛朗哥
浏览 0提问于2015-03-17得票数 0
1回答
从一开始重新加载相同的文件，而不重新启动logstash。
elasticsearch、logstash
我设法迫使Logstash重新加载整个文件，方法是将sincedb_path指向NUL (Windows环境)，并在开始时设置start_position。下面是我的file input配置：
input {
file {
path => "myfile.csv"
start_position => beginning
ignore_older => 0
type => "my_document_type"
sincedb_path => &#
浏览 4提问于2016-12-02得票数 0
回答已采纳
2回答
logstash弹性搜索输出
ruby、elasticsearch、logstash
当我试图在logstash文件中更改elasticsearch索引的命名约定时，我遇到了问题。我需要使用文件名中将通过logstash管道传递的部分，这正是设置文件所包含数据的日期的部分。因此，我不使用标准的命名约定，即，只要我能够阅读:logstash%{+YYYY.MM.DD}，我就需要这个：-。
我试图获取当前通过管道传递的文件的实际名称，但我不知道如何获得它。然后，我决定使用当前行的年份和月份，这是在filter部分中处理的。这是我使用的grok模式：
grok {
match => [ "message", "%{IP:client} %{N
浏览 6提问于2015-04-14得票数 0
2回答
使用大型字典执行logstash时出现堆空间错误(翻译过滤器)
java、elasticsearch、out-of-memory、logstash、heap-size
我在执行日志存储时得到了一个错误java.lang.OutOfMemoryError: Java堆空间，在翻译过滤器中使用了一个包含353个兆字节的大字典。
我使用它来查找输入数据。
我试图允许JVM使用更多的内存(使用java -Xmx2048m)。假设我做错了，因为它没有效果。
我用“更小的”字典测试了我的配置文件，它运行得很好。有什么帮助吗？如何给日志存储足够的RAM不死？
我的配置文件如下所示：
input {
file {
type => "MERGED DATA"
path => "C:\logstash-1.4.1\bin\...&
浏览 4提问于2014-11-26得票数 1
回答已采纳
1回答
针对elasticsearch输出插件不工作的Logstash格式
indexing、logstash、elastic-stack、elasticsearch-plugin、logstash-configuration
我很难使用sprintf来引用elasticsearch输出插件中的事件字段，我不知道为什么。下面是在过滤完成后从File节拍接收并发送到Elasticsearch的事件：
{
"beat" => {
"hostname" => "ca86fed16953",
"name" => "ca86fed16953",
"version" => "6.5.1"
},
"
浏览 1提问于2018-12-02得票数 0
2回答
Logstash/Elasticsearch字段类型、日期格式和多字段(.raw)
elasticsearch、logstash、kibana
我一直在使用Logstash中的CSV过滤器在Elasticsearch中使用选项卡分隔的文件。获取数据实际上是非常容易的，但是当我查看Kibana中的数据时，我很难得到字段类型。日期和整数继续以字符串的形式出现，所以我不能按日期绘制或对整数(和、平均值等)执行任何分析函数。
我在获取要填充的字段的.raw版本时也有问题。例如，在设备中，我有像"HTC“这样的数据，但是当我在Kibana做饼图时，它会显示为两个单独的组"HTC”和"One“。当我试图绘制device.raw的图表时，它会出现一个缺失的字段。据我所读，Logstash应该自动创建每个string字段的原始
浏览 2提问于2015-03-02得票数 2
回答已采纳
1回答
同步MongoDB与ElasticSearch
mongodb、elasticsearch、synchronization、logstash
我想将我的MongoDB数据同步到ElasticSearch，我读了很多关于elasticsearch插件和mongo连接器的文章，但是所有这些都不推荐用于mongo 4和elasticsearch 7！
由于logstash是一种专有软件，我想用它来同步.有人知道怎么能做到吗？
浏览 0提问于2019-06-17得票数 12
回答已采纳
1回答
如何获取部分路径名并将其添加到索引中
logstash、logstash-configuration、logstash-file
我目前有一个这样的文件名。SERIALNUMBER00_45_22AB_DEF.log
我基本上想从文件(2014)中提取年份，并将其添加到logstash conf文件的索引名称中。下面的logstash.conf是我的conf文件。
input {
file {
path => "C:/ABC/DEF/HJK/LOGS/**/*"
start_position => beginning
type => syslog
}
}
filter {
grok {
matc
浏览 0提问于2016-04-16得票数 0
1回答
具有logstash配置的elasticsearch元数据的读取和使用
elasticsearch、logstash、logstash-configuration
在另一个系统中从elasticsearch读取转储文件并使用Logstash通过文件输入插件将其推送到我的elasticsearch时，我遇到了问题。我的转储文件如下所示：
{"_index":"logstash-2018.06.14","_type":"doc","_id":"9Q-9AGQBaaf188t_6DmH","_score":1,"_source":{"offset":124076,"tags":["filebea
浏览 0提问于2018-07-10得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
活动推荐
腾讯云开发者
