基于Logstash 5.4.0版本
主要针对收集本地文件日志后写入kafka这个场景
还在进一步使用中, 遇到的新的问题会持续补充
----
无法写入kafka集群
现象: 可以从本地要收集的文件中读取文件内容...,但无法写入kafka集群;
原因: kafka 集群版本为0.9.0.1, Logstash中自带的kafka client jar包不兼容, 官方文档其实有说明
解决方案: 使用kafka 0.9.0.1..., filewatch发现文件有新数据可收集时会使用loop do end循环来一直读取当前文件, 直到收集到文件尾或有异常发生,才退出;
如此这样, 当有一个很大的或频繁被写入文件先处于被收集状态,...解决方案: 引入一个变量, 进程退出时此变量被set, 然后在 loop do end循环中check这个变量, 来决定是否退出这个循环....start和stop函数, 按现在的逻辑stop后start仍可能被调用, 然后在start里又开启了一个新的thread, 却没有机会被stop了;
解决方案: 引入一个变量, 确何在stop后,