DI/FS/ETL系统中数据准确性验证的羽量级实现

DI/ETL/FS系统是什么？

DI ：数据集成，数据集成系统是为用户访问多个有效的、异构的数据源提供统一的应用系统，从而使用户真正将注意力集中在他们想要的特定结果上，而不必关心如何获得这些结果。现在一些企业在做的数据整合平台就是数据集成系统。

FS ：财务系统。

ETL：数据仓库，也可以称为DW或DWH。是数据库概念的升级。从逻辑上理解，数据库和数据仓库没有区别，都是通过数据库软件实现存放数据的地方，只不过从数据量来说，数据仓库要比数据库更庞大德多。数据仓库主要用于数据挖掘和数据分析，辅助领导做决策。

这三类系统有一种共通点，就是数据量庞大，且“抽数”、“洗数”的动作较多，而且很可能没有直接观察的页面，所以在测试过程中验证如何验证数据的准确性是一道难题。

DI/ETL/FS系统测试的痛点

测试该类系统的痛点：

1. 数据来源于不同数据库，又缺少集成的页面来比对数据，导致数据比对工作量巨大且过程繁琐易出错。我们希望能有一款工具，用它来跨多数据库类型进行数据比对；
2. 数据量庞大，只能抽检，难以保证每条数据都正确，测试结果受到质疑。若人工比对，显然不可接受，我们希望能有工具进行自动化比对；
3. 测试环境造数困难，难以做到仿真的数据量和各种异常数据；
4. 系统“抽数”、“洗数”的动作决定了我们要对来源数据（即数据进入数据库之前或者被系统处理之前）进行准备和校验，对数据处理结果进行校验，我们希望有工具能帮助我们快速、准确且全面的完成这个过程。
5. ......

这个过程的测试比较复杂，今天我们先讲讲如何应对第一个痛点。

若要解决这个问题，理想的工具应该具备哪些基本功能呢？

• 可以连接不同数据库，执行SQL或者类SQL脚本；
• 可以对数据库返回结果进行判断；
• 可以把判断结果打印输出；

这样的工具有很多，今天以JMeter比较ORACLE和MYSQL内两表数据为例，说明如何操作：

（1）建立ORACLE和MYSQL的连接：

（2）在源表和目的表分别执行SQL操作：

（3）将SQL返回存入变量：

vars.put("result1",String.valueOf(prev.getResponseDataAsString()));

vars.put("result2",String.valueOf(prev.getResponseDataAsString()));

（4）比较两变量并做出判断：

if (!vars.get("result1").equals(vars.get("result2"))) {

Failure = true; FailureMessage = "错了，两个SQL返回不一致";

}

else {

FailureMessage = "靠谱";

}

（5）打印输出判断结果（不符合期待输出）：

（5）打印输出判断结果（符合期待输出）：

羽量级实现是什么？

之所以称为羽量级实现：

• 需要掌握的语法点只有四处：String.valueOf()、vars.put()、.equals()、if_else，其他都在JMeter图形界面中配置，学习成本很低；
• JMeter是开源工具，随手可得，安装方便；
• 执行效率很高，笔者尝试对源表和目的表50字段，百万行数据，10表UNION查询结果进行比对，执行时间不超过20秒，时间消耗主要在数据库端；
• SQL语法灵活，为后期比对方便，可以在SQL里插入TO_CHAR()、TRIM()等函数；
• JMeter可以轻松嵌套判断循环等逻辑，能够将比对异常结果定义到具体某一行位置；
• 可以连接多种类型数据源，只要下载对应驱动，无额外成本，即使Hadoop这样的非关系数据库。

能力不在于掌握了多少奇巧，在于你对解决问题的渴望。

再多一句，JMeter是个好东西，有机会和大家聊聊用JMeter做UI自动化测试。 作者：9016 链接：https://www.jianshu.com/p/b331f2e83645