数据库信息速递 - 将可观测性带到现代数据堆栈 （译）

如果无法进行测量，那就无法进行管理。正如软件工程师需要全面了解应用程序和基础架构的性能情况一样，数据工程师需要全面了解数据系统的性能情况。换句话说，数据工程师需要数据可观测性。

数据可观测性可以帮助数据工程师及其组织确保数据管道的可靠性，获得对其数据堆栈（包括基础设施、应用程序和用户）的可见性，确定数据问题和修复数据问题可行性。数据可观测性可以帮助解决各种常见企业数据问题。

数据可观测性可以帮助解决数据和分析平台的扩展、优化和性能问题，通过识别操作瓶颈。数据可观测性可以通过提供操作可见性、防护栏和主动警报，避免成本和资源过度使用。并且数据可观测性可以通过监控管道和频繁转换的数据可靠性，防止数据质量和数据中断。

Acceldata数据可观测性平台是现代数据堆栈的企业数据可观测性平台。该平台提供全面的可见性，为数据团队提供实时信息，以识别和预防问题，使数据堆栈变得可靠。

Acceldata数据可观测性平台支持数据源，如Snowflake、Databricks、Hadoop、Amazon Athena、Amazon Redshift、Azure Data Lake、Google BigQuery、MySQL和PostgreSQL。Acceldata平台提供以下洞察力：

计算 - 优化数据基础架构的计算、容量、资源、成本和性能。 可靠性 - 提高数据质量、对账和确定模式漂移和数据漂移。 管道 - 识别转换、事件、应用程序等问题，并提供警报和见解。 用户 - 实时提供数据工程师、数据科学家、数据管理员、平台工程师、数据主管和平台负责人的洞察力。

Acceldata Data Observability Platform是由多个微服务组成的系统，可以协同管理多个业务目标。它通过读取和处理底层数据源的原始数据和元数据来收集各种指标。该平台允许数据工程师和数据科学家监控计算性能，并验证系统中所定义的数据质量策略。

Acceldata的数据可靠性监测平台允许您设置各种类型的策略，以确保数据管道和数据库中的数据符合所需的质量水平并且具有可靠性。Acceldata的计算性能平台显示顾客基础架构上产生的所有计算成本，并允许您设置预算并在开支达到预算时配置提醒。

Acceldata数据可观测性平台的架构分为数据平面和控制平面两部分。

Acceldata平台的数据平面连接到基础数据库或数据源。它从不存储任何数据，并将元数据和结果返回给控制平面，后者接收并存储执行结果。数据分析器、查询分析器、爬虫和Spark基础设施都是数据平面的一部分。

数据源集成配备了一个微服务，它从底层元数据存储中检索数据源的元数据。分析器将任何分析，策略执行和样本数据任务转换为Spark作业。作业的执行由Spark集群管理。

主要功能 在数据管道的开头检测问题，以在它们影响下游分析之前隔离它们： 向左移位到文件和流：在数据到达“使用区域”之前，在“原始着陆区”和“丰富区”中运行可靠性分析，以避免浪费昂贵的云信用和因糟糕的数据而做出错误决策 由Spark支持的数据可靠性：借助开源Apache Spark的强大功能，完全检查并识别PB级别的问题。跨数据源对账：运行可靠性检查，将不同的流、数据库和文件连接起来，确保迁移和复杂管道的正确性。

获得多层面的运营洞察，快速解决数据问题：

不仅知道何时，更要知道为什么：通过关联数据和计算涨幅来调试数据延迟的根本原因。 了解垃圾数据的真实成本：找出在不可靠数据上计算浪费的资金。 优化数据管道：无论是拖放式还是基于代码，单一平台还是多语言，您都可以在一个地方诊断所有堆栈层面上的数据管道故障。

通过操作控制中心，保持对工作负载的持续全面视图，并快速识别和解决问题：

由数据专家为数据团队打造：为当今领先的云数据平台提供定制的警报、审计和报告。 精确的花费智能：预测成本，控制使用率，以实现最大的投资回报，即使平台和定价发生变化也能轻松应对。 单个视图界面：在一个视图中预算和监控所有云数据平台。

实现全面数据覆盖的灵活自动化：

全自动可靠性检查：立即了解到数千个表上缺失、延迟或有误的数据。只需单击一下即可添加高级数据漂移警报。 可重复使用SQL和用户定义的函数（UDF）：用五种编程语言表达领域相关的可重复使用的可靠性检查。应用分割以了解跨维度的可靠性。 广泛数据源覆盖：从现代云数据平台到传统数据库再到复杂文件，应用企业级数据可靠性标准覆盖整个公司。

Acceldata的数据可观测性平台适用于多种技术和环境，并为现代数据堆栈提供企业级数据可观测性。对于Snowflake和Databricks，Acceldata可以通过提供性能、数据质量、成本等方面的洞察，帮助最大化投资回报。

原文 Bringing observability to the modern data stack