日志分析工具：开源与商用对比

关于这个主题有人已经写了诸多篇很好的文章，我们已经将其汇聚在本博客底的链接中供您阅读。所以相比于再写一篇凑热闹的文章而言，我仅想分享我和Search Technologies的其他工程师使用日志分析工具——Splunk、Elasticsearch、Logstash和Elastic栈中Kibana（ELK）的经验。正如每篇文章所述，你必须决定什么最适合你。

命运之箭矢 - 我的首次数据分析

我了解Splunk已有很长一段时间且非常欣赏它的易用性。在我曾经的公司，我的网站托管服务提供商切换了他们的虚拟机的配置并将我的网站关闭了三天。他们完全否认是他们造成了这个问题（当然）。但当时我碰巧在调教Splunk免费版，大约五分钟后，我能够将Splunk指向我的Web服务器日志，搜索单词“error”，然后看呐！一个与下面图示一模一样的屏幕显示问题显然是在切换到Web服务器新VM配置的那一天开始的。

最后，结果证明是与我的CMS不兼容的PHP版本导致了知一切，不必多说，我很快就更换了托管提供商。

对我而言，这说明的是Splunk自安装至收集有效信息的快如雷霆。更令人印象深刻的是，我现在正在进行市场营销（没有编程10年以上历史），所以我可以看出IT管理人员或半技术人员易如反掌地使用它。

用户体验：Elasticsearch，Logstash和Kibana（ELK）对比Splunk

Splunk面临的最大挑战之一是市面上存在的相当不错的开源日志分析工具，其中最知名的是Elastic提供的Elasticsearch、Logstash与Kibana（ELK）（说明一下，Search Technologies'的业务是基于围绕开源技术构建应用程序）。

与Splunk类似，Elasticsearch已生根蒂固于Lucene中（虽然Splunk现拥有特有实现方法）。Logstash充当数据摄取引擎，Kibana充当仪表板/表示层。虽然这些都是单独的开源项目，但它们实际上在Elastic的同一“屋檐”下为所有组件提供了极具凝聚力的路线图。

如我所言，自从我成为开发人员以来已经很长时间了，请牢记这一点。但是，像我这样花5分钟在Splunk上的用户可能一开始要花一两个小时在ELK栈上。我必须设置一些JAVA环境变量、再次熟悉使用命令行界面，而且我的PC上也没有安装Curl之类的工具。您还必须为ELK栈安装三个组件，而不仅仅是单一一个Splunk应用程序。

但经过一番努力，您的界面终于看起来像Splunk了（请参阅下面的示例屏幕）。无论哪个您将ELK堆栈指向的日志文件都已被快速索引，您还有一个搜索界面以及探索已索引数据的界面。

开发人员喜欢使用Elasticsearch、Logstash和Kibana（ELK）进行日志分析

然而，从我们Search Technologies的技术人员角度看，加速ELK相对容易。他们评论称开发者体验同样也非常好。

在我们上一次的大型公司启动计划中，我们有一位由我们其中一位建筑师领导的实践研讨会，每个人都在ELK上运行几个小时并使用来自网站服务器日志的数据制作一些很酷的仪表板。他们基本能够在几个月内绘制出网络流量地图，看起来像这样：

像数据摄取一样，基础数据可视化也正在成为一种商品。从表面上看，我们的工程师感觉Kibana的最新可视化和仪表板功能与Splunk非常相似。

Splunk仍然统治日志分析市场

对于收入超过5亿美元日志分析应用市场，Splunk依然是无可争议的市场领导者。

日志分析工具的出现已经有一段时间了。但是，Splunk的创造者花时间了解了传统用户（主要是系统管理员和开发人员）每天在工作中面临的问题。管理员通常在安全、应用程序或服务器日志中寻找问题，或者像一个人所说的那样，“大海捞针。”

Splunk做了三件好事使他们成为商业日志分析工具市场当前无可争议的领导者：

• 他们创造了卓越的用户体验。
• 他们创建了一个有用的插件社区来增强他们的平台。
• 他们持续不断地参观并推动培训以培育大量Splunk搜索处理语言（SPL™）的门徒。

SPL是一门令人难以置信的语言证明搜索界面在视觉化、探索和分析不同类型的数据源时具有多么强大的功能 - 您可以将所有可用的第三方插件安装至Splunk。SPL还具有许多复杂的分析“命令”（如宏）并可以执行一些有趣的时间序列分析，例如通过数据绘制回归线并设置警报阈值。

尽管大数据热潮的存在，但Splunk仅仅只是日志分析工具而言。正如一位Splunk营销人员曾经向我承认的，“Splunk只与用户提交的查询一样好”，这意味着您必须是某种独有技术的强大用户才能真正充分利用Splunk。

皇帝会保管他的衣服多久？

那么，Splunk所面临的挑战是什么？Splunk将如何影响市场？为什么许多长期使用用户的公司实际上正在考虑用像ELK栈这样的开源日志分析工具取代Splunk？

嗯，首先，ELK栈提供了非常好的开发者体验，在过去的12个月中，功能差距已经显着缩小。现在有更多可用于Elastic栈组件的培训，以及一个可以提供帮助的大型且不断增长的开发者社区。

然后是定价模式 - 是的，这是一个难题。

尽管有着开源骨骼（Lucene，搜索和索引引擎是核心技术的一部分）和有着诸多我知道喜爱Splunk的用户，但用户使用时间越长，我越感觉到他们中的许多人感到被公司的定价模式扣为人质。

Splunk的定价基于您索引的数据量，有点像根据您的行驶里程支付车辆的费用。许多用户发现，一旦他们将Splunk指向数据源，这些数据源倾向于以谁都料不到的直线上升速度生成更多数据。即使是Oracle也不会在数据库中这样做。而且，您什么时候最后一次听到市场对供应商的可变定价抱怨次数多于抱怨Oracle的次数？

许多商业和开源软件解决方案也具有可变价格。使用附加产品时，有时很难区分“纯”开源供应商和商业开源供应商。但这些供应商通常由节点收费（与虚拟服务器实例几乎无关），而出于某种原因，这往往更适合市场。

公平对待Splunk，不是每个人都经历过指数级数据（和成本）增长，特别是如果他们管理索引数据量的时候。Splunk Light提供了一些成本较低但功能较少的解决方案。此外，Splunk可能会提供一些积极的折扣抓住其关键客户。

但很显然，Splunk感受到了非常可行的开源日志分析工具的热度，这些工具在同时利用市场对Splunk定价模式的持续厌恶的同时缩小功能差距。

其他人在说什么

以下文章提供了一些关于商业与开源日志分析工具的其他观点。大多数人观点相当中立，但有些无论如何显然有点偏见。我认为，您可以在评论部分找到更多关于某些文章的更多见解。

• Splunk感受来自更强大，更便宜的开源对手的热度
• Splunk Light Vs. 替代方案：成本，功能比较
• 开源Graylog通知了Splunk
• 日志管理工具Face-Off：Splunk vs. Logstash vs. Sumo Logic

最重要的是，用ELK堆栈替换Splunk可能会也可能不适合您的组织。但是，如果您甚至不考虑这个问题的话，您会对自己造成很大的伤害。

本文首次发布于Search Technologies博客。