DI/FS/ETL系统中数据准确性验证的羽量级实现

DI/ETL/FS系统是什么?

DI :数据集成,数据集成系统是为用户访问多个有效的、异构的数据源提供统一的应用系统,从而使用户真正将注意力集中在他们想要的特定结果上,而不必关心如何获得这些结果。现在一些企业在做的数据整合平台就是数据集成系统。

FS :财务系统。

ETL:数据仓库,也可以称为DW或DWH。是数据库概念的升级。从逻辑上理解,数据库和数据仓库没有区别,都是通过数据库软件实现存放数据的地方,只不过从数据量来说,数据仓库要比数据库更庞大德多。数据仓库主要用于数据挖掘和数据分析,辅助领导做决策。

这三类系统有一种共通点,就是数据量庞大,且“抽数”、“洗数”的动作较多,而且很可能没有直接观察的页面,所以在测试过程中验证如何验证数据的准确性是一道难题。

DI/ETL/FS系统测试的痛点

测试该类系统的痛点:

  1. 数据来源于不同数据库,又缺少集成的页面来比对数据,导致数据比对工作量巨大且过程繁琐易出错。我们希望能有一款工具,用它来跨多数据库类型进行数据比对;
  2. 数据量庞大,只能抽检,难以保证每条数据都正确,测试结果受到质疑。若人工比对,显然不可接受,我们希望能有工具进行自动化比对;
  3. 测试环境造数困难,难以做到仿真的数据量和各种异常数据;
  4. 系统“抽数”、“洗数”的动作决定了我们要对来源数据(即数据进入数据库之前或者被系统处理之前)进行准备和校验,对数据处理结果进行校验,我们希望有工具能帮助我们快速、准确且全面的完成这个过程。
  5. ......

这个过程的测试比较复杂,今天我们先讲讲如何应对第一个痛点。

若要解决这个问题,理想的工具应该具备哪些基本功能呢?

  • 可以连接不同数据库,执行SQL或者类SQL脚本;
  • 可以对数据库返回结果进行判断;
  • 可以把判断结果打印输出;

这样的工具有很多,今天以JMeter比较ORACLE和MYSQL内两表数据为例,说明如何操作:

(1)建立ORACLE和MYSQL的连接:

(2)在源表和目的表分别执行SQL操作:

(3)将SQL返回存入变量:

vars.put("result1",String.valueOf(prev.getResponseDataAsString()));

vars.put("result2",String.valueOf(prev.getResponseDataAsString()));

(4)比较两变量并做出判断:

if (!vars.get("result1").equals(vars.get("result2"))) {

Failure = true; FailureMessage = "错了,两个SQL返回不一致";

}

else {

FailureMessage = "靠谱";

}

(5)打印输出判断结果(不符合期待输出):

(5)打印输出判断结果(符合期待输出):

羽量级实现是什么?

之所以称为羽量级实现:

  • 需要掌握的语法点只有四处:String.valueOf()、vars.put()、.equals()、if_else,其他都在JMeter图形界面中配置,学习成本很低;
  • JMeter是开源工具,随手可得,安装方便;
  • 执行效率很高,笔者尝试对源表和目的表50字段,百万行数据,10表UNION查询结果进行比对,执行时间不超过20秒,时间消耗主要在数据库端;
  • SQL语法灵活,为后期比对方便,可以在SQL里插入TO_CHAR()、TRIM()等函数;
  • JMeter可以轻松嵌套判断循环等逻辑,能够将比对异常结果定义到具体某一行位置;
  • 可以连接多种类型数据源,只要下载对应驱动,无额外成本,即使Hadoop这样的非关系数据库。

能力不在于掌握了多少奇巧,在于你对解决问题的渴望。

再多一句,JMeter是个好东西,有机会和大家聊聊用JMeter做UI自动化测试。 作者:9016 链接:https://www.jianshu.com/p/b331f2e83645

原文发布于微信公众号 - 软件测试经验与教训(udatest)

原文发表时间:2019-07-24

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

编辑于

我来说两句

0 条评论
登录 后参与评论

扫码关注云+社区

领取腾讯云代金券