数据可观测性市场迫在眉睫的危机

一旦开放标准取代了专有系统，许多其他市场就蓬勃发展起来。可观测性市场也面临着同样的机遇。

译自 The Looming Crisis in the Data Observability Market，作者 Ari Zilka。

可观测性市场正在蓬勃发展。市场研究公司 MarketsandMarkets 预测，该市场将从 2023 年的 24 亿美元增长到 2028 年的 41 亿美元，复合年增长率 (CAGR) 为 11.7%。KBV Research 对该市场也持乐观态度，预测其将以 12.3% 的复合年增长率增长，到 2030 年达到 51 亿美元。

这些估计几乎肯定低估了市场。例如，Datadog 的 2023 年收入，仅是该市场众多参与者之一，就与这些市场估计不符。Datadog 的 2023 年收入超过 21 亿美元，虽然该供应商是该领域的领导者，但它肯定不是一家吞噬了 88% 的市场份额的垄断企业。

可观测性市场很可能被低估，原因是多种多样的，既有良性的，也有令人担忧的。在良性的一面，分析师对可观测性的划分方式不同，因此他们的估计会有所不同，尤其是在一个快速变化的市场中。

然而，市场被低估的更令人担忧的原因是，供应商本身正在限制可观测性的整体价值，主要原因是他们将数据锁定在孤岛中，并将可观测性的用例限制在最容易实现的成果上。

在复杂的、基于云的、数据驱动的环境中，可观测性是保持各种系统平稳运行的关键，但当前的可观测性工具限制了您可以从数据中获得的见解。现代的云原生可观测性平台已经出现，可以收集遥测数据，例如日志和跟踪，然后分析这些数据以提供有关基础设施和应用程序状态的可操作见解。IT 和 DevOps 团队可以使用这些见解来解决问题、提高可用性并优化性能。

传统的监控市场是在孤岛中发展起来的，需要使用单独的工具来监控网络、应用程序、安全等，而可观测性应该有助于打破这些孤岛。问题是，当前的可观测性工具仍然将数据锁定在孤岛中，呈现供应商认为您应该拥有的见解，而不是您知道自己需要的见解，并且它们构建了封闭的系统，将其他工具和数据拒之门外。

不久前，仅仅从这些来源收集可操作的实时数据就足以销售软件许可证，因此供应商争先恐后地抢夺最容易实现的成果。然而，通过将上市速度置于一切之上，供应商构建了脆弱的、专有的可观测性工具，这些工具正在接近其极限。

随着市场的演变，从监控到可观测性的转变，理论上应该帮助组织摆脱这些孤岛，从现有系统中释放更多价值。在 2023 年的 APM 和可观测性魔力象限中，研究公司 Gartner 指出，随着市场围绕可观测性重新定义自身，与传统监控的根本区别在于，“以可观测性为中心的解决方案支持探索性的、以分析为驱动的流程，这可能更类似于商业智能 (BI) 而不是 IT 运营。”

这是一个重要的未来愿景，但今天的市场仍然受到传统路径依赖的严重阻碍。

当今的数据可观测性：市场碎片化的高昂代价

数据可观测性市场目前由少数几家供应商主导，包括 Datadog、New Relic 和 Splunk。这些供应商满足了监控组织基础设施和应用程序的关键需求。

问题是这些供应商的系统之间几乎没有互操作性。由于数据可观测性工具的出现是为了针对特定的监控和可观测性用例（应用程序、网络、安全等），供应商平台发展了路径依赖和许多锁定点，使得打破孤岛变得困难，甚至不可能。

互操作性的需求也意味着可观测性工具部署成本高昂，运行劳动密集，难以迁移到竞争解决方案。此外，需要多种工具才能提供有意义的洞察并实现投资回报。在 451 Research 的报告“可观测性平台产品和服务可能颠覆邻近行业”中，研究人员发现大多数企业必须投资多种监控工具才能获得其数字系统的整体视图。

然而，“整体”一词具有误导性，因为这些工具提供的系统内部发生情况的洞察有限，通常只会告诉你所有系统是否正常运行。

虽然 Gartner 可能看到了一个未来，其中以分析驱动的流程更像 BI 而不是 ITOps，但市场尚未达到这一水平。虽然企业感受到了可观测性成本上升的直接痛苦，但真正的问题是长期价值损失。数据的价值会因锁定在专有系统中而贬值。因此，企业无法执行诸如从 BI 获取洞察并自动将业务上下文应用于网络可观测性等操作。这在技术上是可行的，但在封闭系统中实际上是不可能的。

缺乏互操作性会导致缺乏控制，进而导致缺乏可扩展性和创新。

基于可观测性的 4 个关键功能构建

从传统监控到可观测性的演变建立在四个关键功能之上：仪器、处理/分析、存储/查询和操作。整个行业都了解此框架，但如今，每个供应商对每个通用功能的处理方式都不同。

任何企业级可观测性平台都必须包含的四个关键功能是：

• 插桩：可观测性解决方案需要适当的仪器来生成遥测数据，帮助组织了解系统行为并识别潜在问题。
• 处理/分析：在生成遥测数据后，以下停止数据在通过可观测性管道传输时会应用高级分析技术来提取有意义的模式和可操作的洞察。
• 存储/查询：接下来存储数据，用户可以在其中查询原始遥测数据并获取洞察，用于历史分析和趋势识别。
• 操作：最后，收集和分析数据的全部意义在于采取行动。可观测性数据使用户能够在整个组织中根据洞察采取及时有效的行动。操作包括自动修复和警报触发等。

通过利用可观测性的这些关键功能，企业可以：

• 主动识别和解决潜在瓶颈
• 减少平均故障修复时间 (MTTR)
• 推动持续改进
• 简化工作流程并提高响应时间
• 自动化劳动密集型、容易出错的重复性任务
• 自动优化性能

这四个功能中的每一个都是为了深入了解应用程序、网络、基础设施、安全设备等中发生的情况所必需的。尽管如此，每个功能也代表了一个数据被锁定在专有孤岛中的点。

虽然这些锁定点有利于供应商，但它们的开发并非阴谋。相反，随着这些系统的开发，每个系统都专注于不同的用例，并依赖于不同的、通常是专有的编程语言、API 和数据格式。

锁定点继续困扰这个市场的另一个原因是，供应商将他们的开发工作重点放在卸载和存储海量数据上，创建了专有系统，而忽略了数据可移植性和共享对于真正分析趋势的重要性。

如今，可观测性处理如此多的活动部件，以至于复杂性不仅仅是幕后；它是技术复杂性。相反，可观测性复杂性意味着软件工程师必须节省无数小时来管理各种仪表板和警报，因为关键数据被困在不同的系统中，因此数据洞察力有限。

为了摆脱这些孤岛，扩展以服务更广泛的市场，并释放目前受专有瓶颈限制的价值，可观测性解决方案需要在整个管道中实现互操作性。它们需要互操作以提供整个数字业务的整体视图，同时提供通过标准界面查看和管理这些工具的能力。

幸运的是，有一种通往广泛互操作性的捷径，它以前已经成功使用过：开放标准。

从孤岛到平台到操作系统

随着云计算和数字化转型举措在整个经济体中蔓延，几种技术已经从具有较差集成的专有系统转变为平台方法，用于云管理、网络安全和 WAN 连接。 平台带来了许多好处，但当它们出现在任何特定市场时，它们只应被视为通往真正目的地的中间步骤：开放标准，这些标准不仅在平台内部，而且在平台之间实现互操作性。

当平台开始取代点解决方案时，它们仍然将数据和用户锁定在平台中。平台优势，例如融合功能、更高效率以及通过单一控制台管理多种功能的能力，仅适用于单一供应商平台。接下来，供应商通常会建立合作伙伴并吸引补充服务提供商加入其产品生态系统，但这些生态系统是围绕供应商特定要求构建的。

如果您想切换平台，但又想带着第三方插件怎么办？如果该插件不在另一个生态系统中，您就倒霉了。如果您收购了另一家使用不同平台的公司，并且希望合并这两家公司怎么办？祝您好运，如果您希望平台提供商为您处理此事，请做好专业服务成本飞涨的准备。即使有了平台，用户仍然被锁定，切换成本仍然很高，选择仍然有限，直到标准和开放性开始消除专有迷雾。

这就是为什么在市场演变的下一阶段，当用户对不断飙升的专有成本感到厌倦时，更便宜的开源替代方案往往会涌现。开放选项通常提供较少的功能，不适合缺乏开发人员和 IT 技能的组织。尽管如此，它们确实会影响大型组织，因为它们促使供应商开始标准化过程。

一旦发生这种情况，您将不可避免地看到平台提供商争先恐后地拥抱标准并成为标准。看看任何复杂的软件市场，从云到大数据到虚拟化，您都会看到供应商将自己定位为市场的操作系统。

对于一些人来说，这仅仅是一个营销活动。然而，事实是，大多数复杂的技术将受益于一个操作系统，该操作系统可以自动处理如今让工程师束手无策的许多任务。

OpenTelemetry 能否作为可观测性操作系统的基础？

从孤岛到平台再到标准的路径是一条被人们熟知的路径。然而，可观测性市场有一个独特的机会，可以开辟一条通往开放性和可移植性的捷径。

已经有一个开放的可观测性项目可以帮助为开放、可扩展的可观测性市场铺平道路：OpenTelemetry，一个云原生计算基金会项目。OpenTelemetry (OTel) 是一个具有标准化协议的开源可观测性框架，它目前是仅次于 Kubernetes 的第二大流行的开源项目。

OTel 定义了用于检测、生成、收集和导出遥测数据的统一格式，例如指标、日志和跟踪，以供监控平台进行分析。凭借额外的功能，OTel 的通用框架可以有效地作为更大遥测计算层的基石，该层处理调度、排队、格式化等，所有这些都基于开放标准。

有趣的是，OTel 最初创建的原因是为了将可观测性从两个现有的孤岛中解放出来：OpenTracing 和 OpenCensus。2019 年，OTel 成立，旨在合并这两个项目，创建一个用于端到端分布式跟踪遥测的单一开放集成框架，它于 2023 年 11 月正式发布。

利用 OTel 来快速发展这个领域并非天方夜谭。该项目已经获得了广泛的支持。OTel 的支持者包括 DataDog、Google、IBM、New Relic、Splunk 等等。

现在，基于 OTel 构建的工具可以从任何来源收集、导出和分析遥测数据。借助 OTel，企业拥有它们生成的数据，在 可观测性和监控 路径的任何阶段都不会出现供应商锁定。在 OTel 上构建的开发人员只需要处理一组 API 和数据约定。

开放性将释放可观测性管道中的价值

企业应该推动可观测性的标准化和开放性。原因不仅仅是技术上的。封闭系统的真正问题在于它们限制了价值。如今，企业对不断飙升的可观测性成本表示严重担忧，因为它们被锁定在为在组织其他领域执行相同任务的不同工具支付过高的价格。

相比之下，符合 OTel 标准的工具开始出现，这些工具能够更好地从任何来源收集、导出和分析遥测数据。随着 OTel 的普及以及标准可观测性操作系统的开发，企业将拥有它们生成的数据，在可观测性和监控路径的任何阶段都不会出现供应商锁定。

如今，现实情况是成本正在飞涨，因为网络团队会使用一种工具，安全依赖于另一种工具，而电子商务又偏爱另一种工具。每个团队都需要可观测性来优化性能，但如果他们真正拥有自己的数据，他们就不需要为重复的工具过度付费。

这意味着，对于可观测性购买者来说，坚持开放标准和 API，尤其是 OTel，对于可观测性至关重要。否则，可观测性平台旨在打破的孤岛将在不同的功能和供应商生态系统周围重新形成，免费且轻松的数据可移植性将再次丢失。

从服务器到 IaaS 到容器，许多其他市场在开放标准取代专有系统后爆炸式增长。可观测性市场也拥有同样的机会——如果我们抓住它。