问构建分布式日志聚合器(比如Splunk)的最佳组件堆栈是什么？

EN

我正在努力寻找最好的组件来构建类似于Splunk的组件，以便从计算网格中的大量服务器上聚合日志。另外，它应该被分发，因为我每天都有很多日志，没有一台机器能够存储日志。

我特别感兴趣的东西将与Ruby工作，并将在Windows和最新的Solaris (是的，我有一个动物园)。

我认为建筑是：

• 日志爬虫(Ruby脚本)。
• 分布式日志存储
• 分布式搜索引擎
• 重量轻的前端。

日志爬虫和分布式搜索引擎没有问题-日志将由Ruby解析，ElasticSearch将用于索引日志消息。前端也很容易选择-辛纳屈。

我的主要问题是分布式日志存储。我看了MongoDB，CouchDB，HDFS，Cassandra和HBase。

• MongoDB被拒绝了，因为它不能在Solaris上工作。
• CouchDB不支持分片(让它工作需要智能代理，但这是我甚至不想尝试的事情)。
• Cassandra工作得很好，但是它只是一个磁盘空间占优势，它需要每天运行自动平衡来在Cassandra节点之间分配负载。
• HDFS看起来很有希望，但是FileSystem API只是Java，而JRuby是一个痛苦的问题。
• HBase看起来是最好的解决方案，但是部署它和监视只是一场灾难--为了启动HBase，我需要首先启动HBase，检查它启动时是否没有问题，然后启动HBase并检查它，然后启动REST服务并检查它。

所以我卡住了。一些东西告诉我HDFS或HBase是最好的作为日志存储的工具，但是HDFS只有在Java中才能顺利地工作，而HBase只是部署/监视的噩梦。

有谁能分享它的想法或经验，使用我上面描述的组件构建类似的系统，还是使用完全不同的组件？