【开源项目推荐】Great Expectations—开源的数据质量工具

大家好，我是独孤风。

又到了本周的开源项目推荐。数据质量是企业进行数据治理非常重要的一个环节，高质量的数据对管理决策，业务支撑都有非常重要的作用。 只有持续的数据质量改进才能推动数据治理体系的完善，差劲的数据质量就如同顽固的疾病一样，如果不能得到及时的改善，最终可能会导致重大的问题。 近几年来，管理数据质量的工具层出不穷，但是能够全面的对企业数据质量进行分析与洞察的工具并不多见。 那么，有没有好用的开源的数据质量项目呢？ 今天为大家推荐的开源项目，就是一个极为优秀的数据质量检查工具，开源的数据质量管理项目。让我们一起来看看吧~

概述

今天为大家推荐的开源项目名为Great Expectations。 Great Expectations是一个开源的数据质量检查工具，使用了基于机器学习的数据质量自动化管理工作流程。它可以轻松地对数据质量进行验证、建模和监控。用户以期望(expectations)的形式定义断言(assertions)。顾名思义，期望是您期望从数据中获得的质量，断言则是用声明性语言编写的。 例如，下图的断言示例定义了passenger_count列的值必须介于1和6之间。

Great Expectations根据这个规则，就会对数据进行验证，并且能够自动生成便于阅读的数据诊断报告。Great Expectations的另一个功能是自动化数据分析。它可以根据统计数据，自动从数据中生成期望。由于数据质量工程师不必从头开始编写断言，因此大幅节省了开发的时间。一旦各种预期准备就绪，它们就可以被合并到数据管道中。

可在大数据流动后台回复“GreatExpectations”获取安装包，源代码与学习资料。

功能演示

请参考大数据流动视频号的功能演示：

如何安装？

整个Great Expectations的使用流程如下图所示。

需要python版本为 3.8 到 3.11。

可以用下面的命令进行安装。

pip install great_expectations

如果要在python代码中使用，可以这样引入。

import great_expectations as gx

随后建立一个上下文。

context = gx.get_context()

连接数据。

validator = context.sources.pandas_default.read_csv(
    "https://raw.githubusercontent.com/great-expectations/gx_tutorials/main/data/yellow_tripdata_sample_2019-01.csv"
)

定义一个期望

validator.expect_column_values_to_not_be_null("pickup_datetime")
validator.expect_column_values_to_be_between(
    "passenger_count", min_value=1, max_value=6
)
validator.save_expectation_suite()

定义一个检查点。

checkpoint = context.add_or_update_checkpoint(
    name="my_quickstart_checkpoint",
    validator=validator,
)

随后执行就可以了。

checkpoint_result = checkpoint.run()

如果要查看结果可以执行下面的命令。

context.view_validation_result(checkpoint_result)

支持的数据源

目前Great Expectations支持如下的数据源。