logstash过滤错误日志_高考专业报名指南

全栈程序员站长

发布于 2022-08-04 08:45:17

5060

发布于 2022-08-04 08:45:17

文章被收录于专栏：全栈程序员必看

大家好，又见面了，我是你们的朋友全栈君。

关闭Logstash

如果你将Logstash作为服务运行，请使用以下命令之一来停止它：

systemd使用：

systemctl stop logstash

upstart使用：

initctl stop logstash

sysv使用：

/etc/init.d/logstash stop

如果你正在POSIX系统的控制台中直接运行Logstash，那么你可以通过向Logstash发送SIGTERM来停止它，例如：

kill -TERM {logstash_pid}

或者，在控制台中输入Ctrl-C。

在受控关闭期间会发生什么?

当你试图关闭一个正在运行的Logstash实例时，在它可以安全关闭之前，Logstash会执行几个步骤，它必须：

停止所有输入、过滤和输出插件
处理所有运行中的事件
终止Logstash进程

以下条件影响关闭过程：

一个输入插件以缓慢的速度接收数据。
一个缓慢的过滤器，例如执行sleep(10000)的Ruby过滤器或执行非常繁重查询的Elasticsearch过滤器。
一个断开连接的输出插件，正在等待重新连接以刷新运行中的事件。

这些情况使得关闭过程的持续时间和成功不可预测。

Logstash有一个失速检测机制，可以分析关闭期间管道和插件的行为，这种机制定期生成关于内部队列中运行中的事件计数和繁忙工作线程列表的信息。

为使Logstash在中断运行的情况下强制终止，当你启动Logstash时使用--pipeline.unsafe_shutdown。

不安全的关闭、Logstash进程的强制关闭或由于任何其他原因导致的Logstash进程崩溃都可能导致数据丢失（除非你启用了Logstash使用持久队列），尽可能安全的关闭Logstash。

失速检测的例子

在本例中，缓慢的过滤器执行可以防止管道完全关闭，由于Logstash是由--pipeline.unsafe_shutdown标志启动的，因此关闭会导致20个事件的丢失。

bin/logstash -e 'input { generator { } } filter { ruby { code => "sleep 10000" } }
  output { stdout { codec => dots } }' -w 1 --pipeline.unsafe_shutdown
Pipeline main started
^CSIGINT received. Shutting down the agent. {:level=>:warn}
stopping pipeline {:id=>"main", :level=>:warn}
Received shutdown signal, but pipeline is still waiting for in-flight events
to be processed. Sending another ^C will force quit Logstash, but this may cause
data loss. {:level=>:warn}
{"inflight_count"=>125, "stalling_thread_info"=>{["LogStash::Filters::Ruby",
{"code"=>"sleep 10000"}]=>[{"thread_id"=>19, "name"=>"[main]>worker0",
"current_call"=>"(ruby filter code):1:in `sleep'"}]}} {:level=>:warn}
The shutdown process appears to be stalled due to busy or blocked plugins.
Check the logs for more information. {:level=>:error}
{"inflight_count"=>125, "stalling_thread_info"=>{["LogStash::Filters::Ruby",
{"code"=>"sleep 10000"}]=>[{"thread_id"=>19, "name"=>"[main]>worker0",
"current_call"=>"(ruby filter code):1:in `sleep'"}]}} {:level=>:warn}
{"inflight_count"=>125, "stalling_thread_info"=>{["LogStash::Filters::Ruby",
{"code"=>"sleep 10000"}]=>[{"thread_id"=>19, "name"=>"[main]>worker0",
"current_call"=>"(ruby filter code):1:in `sleep'"}]}} {:level=>:warn}
Forcefully quitting logstash.. {:level=>:fatal}

当--pipeline.unsafe_shutdown未启用，Logstash继续定期运行并生成这些报告。

发布者：全栈程序员栈长，转载请注明出处：https://javaforall.cn/107278.html原文链接：https://javaforall.cn

本文参与腾讯云自媒体同步曝光计划，分享自作者个人站点/博客。

原始发表：2022年4月2，如有侵权请联系 cloudcommunity@tencent.com 删除

java