logstash将ruby代码转换为logstash过滤器
Logstash是一个开源的数据收集引擎，用于实时处理和转发日志和事件数据。它可以从各种来源（如文件、数据库、消息队列等）收集数据，并将其转换为可用于存储和分析的统一格式。
在Logstash中，过滤器用于对收集到的数据进行处理和转换。过滤器可以应用于数据的各个方面，如解析、转换、过滤、增强等。而Ruby代码可以被转换为Logstash过滤器，以实现更复杂的数据处理逻辑。
将Ruby代码转换为Logstash过滤器的过程如下：
- 编写Ruby代码，实现所需的数据处理逻辑。
- 在Logstash配置文件中，使用Ruby过滤器插件指定要执行的Ruby代码。
- Logstash在运行时会加载配置文件，并根据配置中的Ruby过滤器插件执行相应的代码。
通过将Ruby代码转换为Logstash过滤器，可以实现各种数据处理操作，如字段解析、数据转换、条件过滤、数据增强等。这使得Logstash成为一个强大的工具，可以灵活地处理各种类型的日志和事件数据。
相关·内容
1回答
我有一个elasticsearch索引，用于索引一组文档。
这些文档最初是csv格式的，我正在寻找使用logstash解析这些文档。
我的问题是，我有以下几点思路。
field1，field2，field3，xyz，abc
field3类似于123456789，我希望使用ruby代码过滤器将其解析为4.56(789)。
我的尝试：
我尝试使用stdin并使用下面的logstash.conf进行stdout。
input {
stdin {
}
}
filter {
ruby {
code => &#
浏览 2提问于2015-07-08得票数 1
回答已采纳
logstash文档表明，可以使用多行编解码器将Java堆栈跟踪日志条目中的多个缩进行折叠为单个事件：
https://www.elastic.co/guide/en/logstash/current/plugins-codecs-multiline.html
input {
syslog {
type => syslog
port => 8514
codec => multiline {
pattern => "^\s"
what => "pr
浏览 0提问于2017-03-16得票数 1
回答已采纳
我试图从Logstash中的Ruby过滤器插件中调用一些Python代码。我遇到的问题是试图在Ruby脚本调用的Python代码中使用外部依赖关系造成的。正如我所预料的，Ruby没有“看到”那些依赖项，但是我以前从未使用过Ruby，也没有编写过Logstash过滤器插件，所以请帮助。:)
下面是logstash.conf文件：
input {
stdin {}
filter {
ruby {
path => "<PATH_TO_LOGSTASH_FILTER_RUBY_SCRIPT>"
script_param
浏览 16提问于2022-10-17得票数 0
回答已采纳
1回答
我使用logstash管道将数据从mysql db导入弹性数据库，其中包含了一些使用aes-128-cbc加密的字段。所以我需要在解密后把这些字段存储到弹性中。我使用logstash-filter-cipher插件并将其配置为-
cipher {
algorithm => "aes-128-cbc"
cipher_padding => 1
# Use a static "iv"
iv => "IvWa7bK1lqDUxE6d"
key => "kYr2U8oP9AjkYm3
浏览 3提问于2021-03-02得票数 0
3回答
我使用Logstash 5来摄取包含一组JSON文档的文件，在每个事件中提取每个文档的一部分，并将它们写到另一个文件中。
我想打印输出JSON。我找到了这个线程：，它看起来很理想，但是Logstash 5现在阻止您直接访问事件属性，取而代之的是event.get和event.set方法(参见)。
我试图按以下方式转换上述内容：
ruby {
init => "require 'json'"
code => "@pretty_body = JSON.pretty_generate(event.get('body'
浏览 6提问于2017-03-21得票数 1
回答已采纳
1回答
如何在logstash中格式化数字？我在过滤器插件中使用ruby代码中的'‘%格式表达式，但我得到的格式结果为零。我尝试了sprintf和格式化函数，但是结果是一样的。
下面是我的代码片段。
ruby {
code => "
event.set( 'positioning', event.get('branch_lat') + ',' + event.get('branch_lon') )
event.set( 'report_datetime', event.get(&#
浏览 2提问于2016-10-28得票数 1
回答已采纳
只是好奇如何修复:未定义的方法`to_json‘？
logstash版本为6.3.2。
"journalctl -u logstash“返回：
May 15 13:33:13 server-4-eu-central-1.sample.com logstash[2382]: [2020-05-15T13:33:13,818][ERROR][logstash.filters.ruby ] Ruby exception occurred: undefined method `to_json' for #<Hash:0x7a9ee4b7>
May 15 13:33:1
浏览 3提问于2020-05-16得票数 1
回答已采纳
我有以下logstash配置：
input { stdin { } }
output {
elasticsearch { hosts => ["localhost:9200"] }
stdout { codec => rubydebug }
}
filter {
ruby {
code => "
@@exists_pattern = ['foo', 'bar'].any?{ |pattern| event.get('message').include?(patter
浏览 29提问于2017-06-29得票数 2
回答已采纳
Logstash版本6.5.4
当状态为完成时，我希望创建字段，并将其值设置为current_timestamp-created_timestamp。
这是我的配置文件中的几行。
match => { "message" => '%{DATA:current_timestamp},%{WORD:status},%{DATA:created_timestamp}}
if [status] == "COMPLETE" {
mutate {
add_field => [ "job
浏览 8提问于2022-07-13得票数 0
回答已采纳
我有一个正在做的项目，想试着从logstash开始将它挂接到ELK堆栈上。实际上，我让python将这段代码写入一个名为stockLog的文件：
{'price': 30.98, 'timestamp': '2015-08-03 09:51:54', 'symbol':'FORTY',
'ceiling': Decimal('31.21'), 'floor': Decimal('30.68')}
我已经安装了logstash，并且(理想情况下)可以
浏览 1提问于2015-08-04得票数 0
我有一个运行的logstash进程，它正在使用来自kafka主题的数据。kafka topic中的消息已经是json格式。logstash只是在弹性搜索中推送它们。但是在这样做的同时，logstash改变了字段的顺序。有一个团队正在使用csv格式的数据，因此更改的顺序给他们带来了麻烦。可能的原因是什么？
例如输入json {"foo1":"bar1"，"foo2":"bar2"}。logstash在弹性中推送，然后在弹性中，它看起来像{"foo2":"bar2"，"foo1":
浏览 3提问于2017-05-09得票数 0
如何比较logstash中的日期。我想将date与一个常量日期值进行比较。下面的代码在Logstash中失败，并出现ruby异常。
if [start_dt] <= "2016-12-31T23:23:59.999Z"
浏览 1提问于2017-10-06得票数 3
在另一个系统中从elasticsearch读取转储文件并使用Logstash通过文件输入插件将其推送到我的elasticsearch时，我遇到了问题。我的转储文件如下所示：
{"_index":"logstash-2018.06.14","_type":"doc","_id":"9Q-9AGQBaaf188t_6DmH","_score":1,"_source":{"offset":124076,"tags":["filebea
浏览 0提问于2018-07-10得票数 0
回答已采纳
我正在构建logstash，并希望构建用于匿名消息中指定的字段的功能。
根据下面的消息，字段fta是要匿名的字段列表。我想只使用%{fta}并将其传递给匿名过滤器，但这似乎不起作用。
{ "containsPII":"True", "fta":["f1","f2"], "f1":"test", "f2":"5551212" }
我的配置如下
input {
stdin { codec => json }
}
filter {
浏览 0提问于2016-07-14得票数 0
2回答
我在服务器上设置了一个麋鹿堆栈。我配置了logstash和其他东西，并将syslog测试消息发送到logstash。一切都很好。
现在我尝试从Cisco WLC和Cisco交换机发送syslog消息到logstash，并且消息编码似乎是错误的。
在logstash日志文件中，我看到以下条目(我删除了消息)
2018-01-09T16:04:24,603logstash.codecs.plain收到了一个与您配置的字符编码不同的事件。{:text=>"0\x82\u0002B\u0002\u0001\u0001\u000...REMOVED出于安全目的，:expected_char
浏览 7提问于2018-01-09得票数 0
回答已采纳
2回答
我在Logstash中使用Twitter输入和Elasticsearch输出。在logstash中，我想分析传入的tweet，并根据某种算法添加一个新字段。我知道我需要写一个新的插件，但是我遇到的例子都是Ruby的。
可以用Python编写插件吗？如果没有，请分享任何关于如何用Ruby编写的好教程。
浏览 1提问于2015-01-28得票数 0
1回答
我一直跑到墙上，试图让一个ruby文件为过滤器工作，最后我将我的配置文件简化为以下内容：
filter {
ruby {
code => "event.cancel"
}
}
但是，即使使用这个简单的示例，运行logstash.bat -t也会给出以下内容：
给定的配置无效。原因:未初始化常量LogStashCompilerLSCLGrammar::LogStash::Compiler::LSCL::AST::Hash::ConfigurationError
有人能指出正确的方向让红宝石过滤器工作吗？同样的事情发生在6.2.2的新安
浏览 0提问于2018-02-27得票数 3
回答已采纳
我有一些日志，由Filebeat读取，在Logstash中筛选并发送到MongoDB。在日志上生成@时间戳字段，日志可能如下所示
{
"_id" : ObjectId("622884e8ed814f1590000076"),
"@timestamp" : "\"2022-03-09T10:43:46.000\"",
"stream" : "stderr",
"message" : "[2022-03-09T10:43:46.52
浏览 31提问于2022-03-11得票数 0
回答已采纳
我有一个带依赖模块的ruby文件，这个文件是在logstash管道中调用的。伊..。
filter{
ruby {
path => "/path/to/script.rb"
}
}
我得到一个错误，当脚本是通过运行脚本的荚中的logstash管道调用时找不到的。
我该如何或在哪里安装这些？我可以在管道中的某个地方运行"gem安装我的-gem“，或者您将如何完成这个过程？
浏览 1提问于2022-08-13得票数 1
回答已采纳
在logstash配置中：
ruby {
init => "@kname = ['url_path','url_args']"
code => "
new_event = LogStash::Event.new(Hash[@kname.zip(event.get('uri').split('?'))])
new_event.remove('@timestamp')
浏览 0提问于2018-01-11得票数 0
2回答
日志存储的Java过滤器
、、、、
您知道如何为Logstash提供Ruby过滤器，它使我能够用Ruby编写代码，并且它通常包括在配置文件中，如下所示
filter {
ruby {
code => "...."
}
}
现在，我有两个Jar文件，我想要包括在我的过滤器，以便我的输入可以处理根据我在这些Jar文件中的操作。但是，我不能(显然)将Jar文件包含在ruby代码中。我一直在寻找解决办法。
浏览 1提问于2015-09-03得票数 10
回答已采纳
1回答
Basic是一个浮动字段。上述索引在elasticsearch中不存在。在使用logstash -f运行配置文件时，我也不例外。然而，在elasticsearch中反映和输入的数据显示Basic的映射为string。我该怎么纠正呢？如何对多个字段执行此操作？
input {
file {
path => "/home/sagnik/work/logstash-1.4.2/bin/promosms_dec15.csv"
type => "promosms_dec15"
star
浏览 4提问于2014-12-18得票数 0
回答已采纳
1回答
我在同一台服务器上有一个syslog服务器和ELK堆栈。我为每个syslog源都有一个目录。我正在尝试使用Logstash解析syslog文件，我希望将syslog源的ip地址或主机名保留在"host“字段中。目前，我在Logstash解析后得到了0.0.0.0源代码。
我的logstash.conf：
input {
file {
path => ["path/to/file.log"]
start_position => "beginning"
type => "linux-syslog"
浏览 20提问于2016-08-10得票数 0
1回答
我有1-一个单一的CSV文件和2-一个直播的KAFKA流。KAFKA stream引入了直播流日志，CSV文件包含元数据记录，我需要在将它们发送到Elastic Search之前将它们与流日志连接起来。 Kafka流日志和CSV记录示例： KAFKA log: MachineID: 2424, MachineType: 1, MessageType: 9
CSV record: MachineID: 2424, MachineOwner: JohnDuo 在发送到ES之前，我需要在logstash中构建记录： MachineID: 2424
MachineOwner: JohnDuo
Mac
浏览 24提问于2020-11-01得票数 0
回答已采纳
我有rsyslog通过TCP将日志转发到logstash。如果logstash不可用，rsyslog将建立队列。
如果logstash可用，但elasticsearch已死亡，或由于某种原因无法写入文件系统。
是否有一种方式使logstash拒绝进一步的TCP消息。
谢谢
浏览 5提问于2014-04-25得票数 1
我使用logstash2.4和kafka输入5.1.6。在我的配置中，我创建了一个名为input_lag的字段，以监视日志处理所需的日志存储时间：
ruby {
code => "event['lag_seconds'] = (Time.now.to_f - event['@timestamp'].to_f)"
}
我从一个logstash实例中听了几个kafka主题，对于定期生成日志的主题，一切正常，延迟很小(几秒钟)。但是，对于不定期生成少量日志的主题，我会遇到很大的滞后。有时是几万秒。我对Kafka输入的配置如下：
inp
浏览 3提问于2017-08-09得票数 1
1回答
我不清楚如何通过logstash将数据上传到具有适当类型的Elasticsearch
我的意思是，我有一个带有syslog消息的文件，其中包含一个日期部分:我在logstash中使用GROK解析标识%DATE的字符串和消息的其他部分，然后发送到输出elasticsearch {}：elsaticsearch中的日期显示为字符串，而不是日期。我希望这些数据在Elsaticsearch中使用正确的类型进行适当的限定。其他文件也一样，即使GROK解析为INT、DATE等，在Elasticsearch中看起来都是字符串，我该如何解决这个问题呢？
提前感谢
佛朗哥
浏览 0提问于2015-03-17得票数 0
我是一个使用logstash的新手，我正在尝试启动web用户界面，但似乎无法触发它。每次我尝试运行web ui时都会出现异常。这是我得到的很长的异常。我使用的是windows7，任何建议都是非常感谢的。我在stackoverflow上尝试了以下方法，但我在弄清楚如何为'cp‘和'rm’命令工作实现Nathan的解决方案时遇到了问题。。
C:\MyPrograms\logstash>java -jar logstash-1.1.13-flatjar.jar agent -f logstash-s
imple.conf -- web --backend elasticsear
浏览 0提问于2013-07-29得票数 3
我正在使用logstash来消费activeMQ中的消息，我需要使用"stomp“来使logstash支持activeMQ。在我的activeMQ配置文件"activeMQ.xml“中，"”part“”中已经有以下行
<transportConnector name="stomp" uri="stomp://0.0.0.0:61613?maximumConnections=1000&wireFormat.maxFrameSize=104857600"/>
在logstash方面，在我的logstash配置文件中
浏览 1提问于2014-07-01得票数 0
我想知道在logstash中实现以下任务的最佳方式是什么： 我有以下字段，其中包含由':‘分割的多个路径： my_field : "/var/log/my_custom_file.txt:/var/log/otherfile.log/:/root/aaa.jar 我想添加一个名为"first_file“的新字段，它将只包含第一个路径的file_name(没有后缀)： first_file : my_custom_file 我用下面的ruby代码实现了它； code => 'event.set("first_file",event.ge
浏览 37提问于2020-12-03得票数 0
回答已采纳
我使用了多个logstash jdbc输入：
jdbc {
jdbc_driver_library => "../vendor/oracle/ojdbc7.jar"
jdbc_driver_class => "Java::oracle.jdbc.driver.OracleDriver"
connection_retry_attempts => 10
connection_retry_attempts_wait_time => 5
jdbc_validate_connection => "
浏览 0提问于2016-12-14得票数 1
1回答
我在我的Logstash日志中得到了以下内容，并且无法知道它是从哪里来的：
{:timestamp=>"2016-05-19T12:14:00.883000-0400"，:message=>"Ruby发生:用于nil:NilClass的未定义方法‘[]’“，:level=>:error}
我也有一些其他的错误，我不知道是哪一张唱片造成的。我怀疑我的错误来自日期操纵，但问题更为普遍。
如何使logstash打印导致此错误的整个事件或任何类似的事件？
我的过滤器输出如下所示，输入来自JDBC源：
filter {
mutate
{
c
浏览 3提问于2016-05-19得票数 3
5回答
我从下载logstash2.0.0。测试输出：
D:\logstash\bin>logstash -e 'input { stdin { } } output { stdout {} }'
Unable to find JRuby.
If you are a user, this is a bug.
If you are a developer, please run 'rake bootstrap'. Running 'rake' requires the 'ruby' program be available.
wind
浏览 16提问于2015-11-10得票数 4
回答已采纳
我和Elasticsearch Logstash有个问题。我的目标是用logstash自动发送日志到elasticsearch。
我的原始日志看起来是这样的：
2016-09-01T10:58:41+02:00 INFO (6): 165.225.76.76 entreprise1 email1@gmail.com POST /application/controller/action Mozilla/5.0 (Windows NT 6.1; Trident/7.0; rv:11.0) like Gecko {"getid":"1"
浏览 0提问于2018-06-18得票数 0
我试图使用logstash将csv文件中的数据输入弹性搜索。我的logsatsh配置文件如下所示：
input {
file {
path => "C:\Users\shreya\Data\RetailData.csv"
start_position => "beginning"
#sincedb_path => "C:\Users\shreya\null"
}
}
filter {
csv {
separator => "
浏览 10提问于2017-12-02得票数 1
回答已采纳
我正在使用logstash，我正在使用ruby filter将十六进制转换为十进制，这对于一组数据很好。我使用的是； ruby{
code => "event.set('xxx', event.get('xx').hex)"
} 我正在寻找类似的东西，将十六进制转换为二进制，然后也转换成十进制后，我摸索patterm.The的原因，我需要这样做是因为我从十六进制值中挑选不均匀的位，例如 十六进制字符串- "ABC“二进制- "101010111100” 然后，我将使用GROK只选取前三位"1
浏览 77提问于2021-07-04得票数 0
回答已采纳
由于Kibana需要字段键中的前缀下划线- (此问题似乎未解决)，我无法在Kiabana中处理默认起始下划线的字段键值(例如docker的日志日志)。我目前正在使用logstash将日志推送到elasticsearch。我读到了这个使用拼音过滤器删除所有下划线的，但我猜这种方法会让我的消费者变得非常慢。
有没有一种方法可以使用logstash中的regex功能从所有字段名中删除前缀下划线？
例如：
_HELO: World
现在应该更改为：
HELLO: World
可能是通过使用与ruby不同的插件
浏览 126提问于2018-05-31得票数 2
错误：
c：\ Program \ Logstash \ bin> logstash.bat -e‘input{stdin{} {stdout {stdout {}}’发生意外错误！：=>坏uri (不是URI?)：文件: // c: / Program / Logstash / confi / log4j2.properties，：backtrace :/ Program / Logstash /供应商/ jruby / ruby/ 1.9 / URI / output。rb: 176:在split‘，"C: / Program / Logstash /供应商/ j
浏览 7提问于2016-12-30得票数 2
当我使用elasticsearch_river作为输出并尝试连接到rabbitmq时，我得到了EOFException。
下面是我的配置文件：
input {
file {
path => "/tmp/logstash/logstash-1.4.2/log.txt"
}
}
filter {
}
output {
elasticsearch_river {
rabbitmq_host => "hostname"
rabbitmq_port =>
浏览 1提问于2015-01-09得票数 0
1回答
我是LogStash世界的新手。才刚开始学。我尝试使用来自类似名称的csv文件的数据创建一个名为Unhealthy_data.config的配置文件。
我的配置文件的内容如下：
input{
file{
path => "D:/01_Users/LogStash/Unhealthy.csv"
start_position => "beginning"
}
filter{
csv{
separator => ","
浏览 3提问于2020-11-28得票数 0
回答已采纳
我试图从字符串的末尾删除'/‘(如果存在的话)，在Logstash中使用ruby，例如：’-> / 'other_example‘-> 'other_example’
我试过：
url = evnet.get("[url]")
if url[-1] == '/'
url.slice!(-1)
end
但是它没有起作用，我认为我应该用另一种方式写"/“。
谢谢
浏览 2提问于2022-08-16得票数 0
使用Logstash2.3.3，grok过滤器对最后一个字段不起作用。
若要重现问题，请按以下方式创建test.conf：
input {
file {
path => "/Users/izeye/Applications/logstash-2.3.3/test.log"
}
}
filter {
grok {
match => { "message" => "%{DATA:id1},%{DATA:id2},%{DATA:id3},%{DATA:id4},%{DATA:id5}" }
}
}
浏览 2提问于2016-07-07得票数 5
回答已采纳
我试图在后台从rails控制台运行一个logstash命令，将日志文件解析为JSON，然后使用JSON将数据插入到使用ActiveRecord的DB中。我正面临着使用子进程命令或派生命令的问题，因为所有这些命令都会给我一个错误: Bundler::GemNotFound: any not find gem 'tzinfo-data java‘在Gemfile中列出的任何gem源中都没有。看起来Rails无法运行JVM代码，但我认为logstash只是用Ruby编写的。
命令：cat #{filePath} | #{logstashDir} -f #{logstash_config}
环
浏览 22提问于2017-07-23得票数 0
我正在尝试设置logstash配置，以将文件中的行推送到rabbitmq。我在本地机器上安装了logstash 2.1.1和rabbit 3.6.0来测试它。输出配置为：
output {
rabbitmq {
exchange => "test_exchange"
key => "test"
exchange_type => "direct"
host => "127.0.0.1"
浏览 2提问于2016-01-21得票数 0
1回答
我使用logstash，日志中有Ruby散列。日志看起来如下：
id: 20171023080217469299836 time: 2017-10-23 08:02:17 +0500 login: 123 params: {:service_id=>21164, :user_id=>"771713"}
id: 20171022185107064615881 time: 2017-10-22 18:51:07 +0500 login: 321 params: {:unc=>"521130929", :id=>"107005094
浏览 3提问于2017-10-20得票数 0
回答已采纳
我试图使用logstash将json文件解析成elasticsearch，但我做不到，我想我需要写一些grok模式。但是我不能。我如何使用logstash将下面的json发送到elasticsearch中。 {“机器名”：“test1”， "longdate":"2019-01-29 13:19:32"， “level”：“错误”， "mysite":"test1"， "message":"test2"， "exception":"test3"， "time
浏览 31提问于2019-01-29得票数 1
回答已采纳
考虑到建议，我设置了logstash编码器+ logstash转发程序，以将所有内容推送到logstash，并最终在ElasticSearch中索引所有内容。
这是我的配置：
logstash.xml
<included>
<include resource="org/springframework/boot/logging/logback/base.xml"/>
<property name="FILE_LOGSTASH" value="${LOG_FILE:-${LOG_PATH:-${LOG_TEMP
浏览 4提问于2015-08-31得票数 2
回答已采纳
1回答
我对jruby和rvm环境不太满意，所以我很难用它运行日志(据说这是最快的方法)。
我试过的是：
我安装了rvm环境(顺便提一句，标准安装脚本创建了一个新的.bash_profile，它在Ubuntu上禁用标准.bashrc脚本。这会迷惑像我这样的新用户..。我想知道为什么我的化名不能用!)
我在一个新目录中解压缩了logstash (jar xvf /logstash-1.1.4-monolithic.jar)
我遵循了中的rvm install 1.9.2指令(尽管我也做了一些尝试/错误/重做操作，所以我不记得命令的确切列表)
然后我尝试了几条命令，但没有一条有效：
$
浏览 4提问于2012-11-13得票数 1
回答已采纳
1回答
在centos 7上使用logstash 2.3.4-1和kafka-输入插件我有时会得到
{:timestamp=>"2016-09-07T13:41:46.437000+0000"，:message=>#0、:events_consumed=>822、:worker_count=>1、:inflight_count=>0、:worker_states=>{:status=>"dead“、:alive=>false、:index=>0、:inflight_count=>0}、:output_info=>
浏览 6提问于2016-09-16得票数 12
回答已采纳
在这里，当我尝试使用logstash将MySQL值转换为嵌套的elasticsearch字段时，会得到以下错误。
{"exception"=>"expecting List or Map, found class org.logstash.bivalues.StringBiValue", "backtrace"=>["org.logstash.Accessors.newCollectionException(Accessors.java:195)"
使用以下配置文件：
input {
jdbc {
浏览 0提问于2017-08-08得票数 3
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM活动推荐
腾讯云开发者
