通过scala的logstash将大量数据插入到elasticsearch
我需要通过scala代码向elasticsearch规则插入大量数据。在googling时，我发现使用logstash进行大量插入，但是logstash没有任何java库或Api可以调用，所以我尝试通过http客户端连接到它。我不知道用http协议发送大数据是一种很好的方法，或者更好地使用其他方法，例如使用代理、队列、redis等等。
我知道最近版本的logstash(6.X,7.x)启用了持久性队列的使用，因此它可以是使用logstash队列的另一种解决方案，但也可以通过http或tcp协议。
还请注意，可靠性是我的第一要务，因为数据不能丢失，而且应该有一种机制在代码中返回响应，以便处理成功或失败。
如果有任何想法，我将不胜感激。
更新
使用http似乎是健壮的，并且有基于这里的确认机制，但是如果采用这种方法，在scala中的http客户机库更合适，因为我需要以键值格式的顺序发送大量数据，并以无阻塞的方式处理响应？
回答 1
Stack Overflow用户
发布于 2019-05-09 00:09:55
这听起来可能有点过火了，但是在scala代码和logstash之间引入一个缓冲层可能会有帮助，因为您可以摆脱大量的HTTP调用，并依赖轻量级的协议传输。
考虑在scala代码和日志存储之间添加Kafka来排队消息。Logstash可以使用TCP传输和批量插入ElasticSearch可靠地处理来自Kafka的消息。另一方面，您可以从构建的scala代码(批处理)中将消息放入Kafka，以使整个管道高效工作。
尽管如此，如果您没有一个卷--比如每秒10,000个msgs--那么您还可以考虑通过调整线程和使用多个logstash进程来修改logstash输入插件。这是为了减少在您的架构中添加另一个移动部分(Kafka)的复杂性。
https://stackoverflow.com/questions/56034779
复制相似问题
腾讯云开发者
