首先，简单介绍下，ETL，是英文Extract-Transform-Load的缩写，用来描述将数据从来源端经过抽取（extract）、转换（transform）、加载（load）至目的端的过程，属于大数据测试的核心内容...今天和大家分享下我作为大数据测试工程师对ETL测试的一些认识。 一、ETL测试工程师的主要责任 对于一个ETL测试工程师而言，其关键的责任有三大类： 1....将经过转换的数据载入至目标表的各维度与指标数据与对标数据进行对标验证其一致性 二、ETL测试场景和测试用例 1. 根据对应的映射文件验证"源"与"目标数据仓库"的表结构 2....日期验证是ETL开发过程中常用的数据，主要用于： . 了解数据创建的日期，分区日期和业务日期要分清楚。 . 用于识别活动记录 . 根据业务需求透视表确定活动记录 ....ETL测试与数据库测试的不同 1. 验证数据是否按照预期进行了移动主要验证数据是否遵循了设计预定的数据模式规则或标准 2.
QA的价值体现 by:授客 QQ：1033553122 1． 缺陷挖掘价值 QA人员一个很重要的价值就是在尽可能短的时间内找出尽可能多的缺陷。...某种意义上说，缺陷直观的反应了产品的质量，QA发现的有效缺陷数越多，缺陷越严重，那么相对来说，产品质量就越差，同时QA发现的有效缺陷数越多，缺陷越严重，相对来说，QA人员的劳动投入越多。...：5公里内出现两家沃尔玛 *案例3.手机百度几大业务跳转规则 说明：百度几大业务之间跳转存在缺陷，百度百科和百度搜索无法友好的跳转，测试业务的同学直接给李彦宏发了一份邮件，但是李没回关于这个bug...从业务逻辑的角度进行测试设计 业务逻辑（业务实体，实体完整性约束，业务规则，业务流程，业务流程启动器） 上述，案例1，案例2中的缺陷可以说是业务规则问题 2....和产品的功能点存在什么关系？等等 思考：我对你说，我饿了，我想吃红烧牛排，这个是需求么？ 如果某个QA不理解这个问题，那就说明他还没学会像产品经理一样的思考。
ETLTestingProcess.png ETL测试过程主要分为以下五大阶段： 分析需求、业务和源数据 获取数据 实现业务逻辑和维度建模 构建和填充数据 生成报告 ETL测试类型 Production...在该ETL测试类型中要注意从数据层面进行自动化测试和管理能力的植入。...ETL Testing（增量ETL测试） 该类型测试主要验证旧数据和新数据的完整性，并添加新数据。...增量测试验在增量ETL过程中，插入和更新是否满足预期的要求。...在从事ETL测试时，有两份文档是ELT测试人员实时使用的： ETL映射表：一个ETL映射表包含源和目的地表的所有的信息，包括每个列及其引用表等约束关系。
Web 应用程序视觉感知测试 视觉感知测试，对于很多 QA，包括我在 2013 以前对于它的认知都是手动测试领域的一个成员。...不过他们的思路和以前不一样，不是想做一个全自动的 UI 测试框架，而是基于 Agile 的持续集成和持续部署的概念上，使用半自动的方法来减少 UI 回归测试的时间，从而减少 WEB 应用程序 UI 回归测试的时间...一般情况下最好使用和应用程序开发使用的语言来写功能测试，但是由于商业应用的业务需求越来越复杂，所以我倾向于使用基于 BDD 和 SBE 的测试工具来做业务测试。...[1]http://smartbear.com/products/qa-tools/automated-testing-tools/ [2]https://github.com/TestStack/White...，需要了解各种测试方法，测试策略和测试工具，随着软件行业的迅速发展也需要更新它们，比如视觉感知测试, 移动测试，性能测试等等。
测试组如何进行QA规范 目录 1、日常流程 2、需求测试 3、问题跟踪 4、需求上线 5、团队架构 6、绩效考核 1、日常流程 1、工作报告 （1）时间及提交方式：每周五下班前，SVN/GIT...、问题反馈等） b、组内测试分享（需求逻辑、测试重点、测试难点） c、下周工作安排及后续项目计划 d、会议总结 e、会议纪要以邮件形式发送总监、经理、各测试组主管及本组组员 3、导师制度：资历合格者可申请成为导师...，测试链接不允许是外链，测试完成及时删除 8、新功能或重大改动，可与需求方或产品沟通增加数据埋点 9、BUG等级：崩溃级、严重级、缺陷级、瑕疵级、建议级 10、需求测试进度：未测试、测试中、待验收、等待上线...6、上线的需求，须做前端性能测试，所有的请求，关注页面响应等 5、团队架构 1、基础功能组（APP、WEB客户端、WEB管理端、实车、仿真协议） 2、性能测试组 3、自动化测试组 4、安全测试组 5、...测试开发组 6、专项组 6、绩效考核 1、考核内容 （1）工作任务完成量 （2）需求测试及线上BUG发现率 （3）逻辑文档、测试用例、测试脚本等输出（需及时更新） 2、报告提交 （1）每月9号前（遇上周末或节假日
今天继续和大家分享下我作为大数据测试工程师对ETL测试的一些认识。ETL测试认知续篇。...在该ETL测试类型中要注意从数据层面进行自动化测试和管理能力的植入。...Incremental ETL Testing(增量ETL测试) ---该类型测试主要验证旧数据和新数据的完整性，并添加新数据。增量测试验证增量ETL过程中，插入和更新是否满足预期的要求。...三、怎么创建ETL测试用例 .ETL测试的目的是确保在业务转换完成后从源加载到目标表的数据是正确无误的。 .ETL测试同样还涉及在源和目标表之间转换时的各个阶段的数据的验证。....在从事ETL测试时，有三份文档是ETL测试人员实时使用的： 1).ETL映射表：一个ETL映射表包含源和目标表的所有的信息，包括每个列及其引用表等约束关系。
上面一篇文章《质效提升 ｜ QA不做业务需求测试，你怎么看》主要讨论的是QA 和业务需求测试相关的问题，文章发出后收到了很多小伙伴的反馈，这里把很多有意义的反馈放在下面，希望对你有用。...约翰同学：QA 和测试的职能不同吧。很多时候混淆了？...scmroad：是的，对于国外来说QA 和 Tester，区别很大；但在国内很多场景下QA=测试人员约翰同学：每个公司对“QA”的角色职责定义不一样的。...scmroad: 如果细说的话， QA和测试人员区别很大；但在国内很多场景下，QA=业务测试人员，而QA和PMO的区别就更大了，两者很多时候不是一个部门的。...所以18年后游戏开始有一堆不专注测试功能的 QA，因为这些测试的复杂度和环境构建难度是非常大的。
软件测试和编程项目快速增长的体量已经让QA别无选择，只能用更有效的自动化解决方案代替人工操作。IT领域正在朝着自动化软件技术方面快速发展。...QA工程师不仅要做的是产品功能方面的测试，还会增加很多工作内容。 经营策略。AI测试工程师将直接负责在公司的生命周期内实施AI解决方案。...对数据流，数学算法和机器人技术的广泛理解将帮助质量检查小组使他们的“智能”助手为产品目标做出贡献。 数据和算法。QA测试工程师的分析部分在于构建机器学习范例，数据过滤和预测分析以构建基于AI的模型。...一个质量检查测试人员，知道客户至上的道理，满足客户的需求通常是面向客户的公司的头等大事。因此，QA作为用户角色将在将来获得普及。 总结 IT软件行业的快速发展，让测试社区的专业知识变得多样化。...质量检查不再是软件开发的最后检查阶段；它担负着领先的质量保证的角色，对用户体验和产品能力也有新的要求，并向采用智能测试技术迈进。
什么是ETL？ETL测试怎么做？ ETL(Extracting-Transfroming-Loading)是指从任何外部系统提取、转换、加载数据到目标地，这是数据集成过程的三大基本步骤。...ETL测试即对从源数据到目标地转换过程中的数据进行检查，跟踪整个ETL过程的效率和速度，尤其是业务逻辑转换的实现验证与数据质量的检查是重中之重！...通常对实时数据的处理一般可分为实时计算、实时存储、实时展示和实时分析等。 离线处理场景及测试要点 离线处理ETL过程主要集中在离线数据仓库。因此针对不同数仓层级，测试的重点也不相同。...，不会出现因为数据处理、存储和展示异常导致数据丢失； 链路数据的及时性，重点在于链路过程中的传输时间和处理时间是否按照约定的格式与规范； 数据的消费性能，重点在于对业务数据进行压力测试，以得出其消费性能...以上讲述了ETL常见的两种测试场景，以及离线及实时处理的测试点，从测试的角度说明了对离线及实时处理的过程应如何展开测试。
显然两者的性质是不同的，软件测试QA的一部分，从工作内容的范围来讲，QA>软件测试。...国内公司中，各个组织对于QA和软件测试的定义不同 有的公司，QA=软件测试， 有的公司，QA>软件测试，除了测试意外还负责流程改进等工作， 有的公司，既有QA，也有软件测试。...QA负责流程，产品等方面的工作，软件测试则仅仅负责测试方面的工作。 2. QA、QC、QM的关系与区别？...QA、QC、QM关系： 其实QM和QA是相互依赖的，所有的组织都会从QM和外部QA相结合的总体利益中获得好处，他们的同时存在为各项工作的管理、执行和验证提供了联合的方法，从而获得满意的结果。...QA的职责就是负责好软件产品的质量，如何保证产品质量需要根据具体的产品特性来灵活开展，这里就不再展开来讲。如果你是一个测试新人，那么首先认真执行好领导分配的测试任务，其次再进行自我学习和提高。
上面一篇文章《质效提升 ｜ QA不做业务需求测试，你怎么看》主要讨论的是QA 和业务需求测试相关的问题，文章发出后收到了很多小伙伴的反馈，这里把很多有意义的反馈放在下面，希望对你有用。...约翰同学：QA 和测试的职能不同吧。很多时候混淆了？...scmroad：是的，对于国外来说QA 和 Tester，区别很大；但在国内很多场景下QA=测试人员 约翰同学：每个公司对“QA”的角色职责定义不一样的。...scmroad: 如果细说的话， QA和测试人员区别很大；但在国内很多场景下，QA=业务测试人员，而QA和PMO的区别就更大了，两者很多时候不是一个部门的。...所以18年后游戏开始有一堆不专注测试功能的 QA，因为这些测试的复杂度和环境构建难度是非常大的。
隆重推荐软件测试行业顶级技术大会 MTSC2019，文末有福利！ 2019，软件测试技术和质量保障体系有哪些新趋势、新变化？ 测试工程师进阶必备的测试技术和应对策略有哪些？...Google、BAT 等顶级大厂如何做测试和质量管理？ AI+测试、精准化测试、物联网测试、持续交付、DevOps？ 2019 最热门测试技术和质量管理最佳实践，尽在 MTSC2019 大会！...，涵盖移动自动化测试、服务端测试、质量保障QA、高新领域测试（AI+、大数据测试、IOT测试）、游戏测试、工程效能提升等6大专题方向，预计有2000+测试同行会在现场交流。...在服务端测试和质量保障 QA 领域，既有腾讯微信小程序质量体系构建、VIPKID 千万级系统压测案例，也有优酷视频和转转电商背后的质量保障体系建设案例分享，以及 DevOps 和 TestOps背景下的微医多维一体化监控平台实践总结...，360 和安居客测试团队应对变化的转型升级经验参考，和酷家乐对混沌工程的探索实践。
可以验证模型系数的ETL部分，但不能像验证其他参数一样轻松地验证模型质量。（ETL（Extract-Transform-Load）：数据抽取清洗转换的过程或工具，一般是做数据仓库的前置性工作） ?...这就是白盒方法最有效的地方：使用单元和集成测试在模型中加载正确的输入数据，选中右边的（+/-），然后选中特性输出。无论您在哪里使用ETL，最好有白盒检查。...例如，再添加300个用户来生成和处理数据。理想情况下，测试的新数据越多越好。原始数据集是好的，但是大量高质量的数据总是更好的。...向客户描述黑盒，并向他们提供测试数据和一项可以处理和可视化输出的服务。...描述所有测试层，是否验证ETL层上的数据和模型功能，以及如何进行验证。
进入大数据测试领域已有近1年时间，今天特意梳理了在项目实践中针对大数据测试方面的一些有效流程和方法，希望与君共勉~ 今日分享的文章内容，主要包含： 测试数据准备 etl测试计划执行 01、测试数据准备...step2：如果稍后重试依然不成功，可找对应的开发同事协助帮忙解决 5)、其他问题待持续更新 Tips： 、梳理目标表所依赖的源表的方法有： [1]、手动梳理法：在目标表中搜索关键字“from和join...再或者公司已有现成的解析依赖表的脚本，可以和对应的开发同事沟通下，避免重复造轮子。 用脚本分析的方法需要注意脚本在解析时没有bug，且适用于当前需要解析的目标表的结构，否则可能解析不全或错误。...02、etl测试计划执行 1、新表提测或表字段变更时建表 (1)、新表提测：依据提测单中的etl流程，找到项目对应的建表sql文件，进入beta环境的etl服务器（l-etl1.test.beta.com...下期将继续分享ETL(大数据)测试实战内容，敬请期待哟！
DEVOPS：统一DEV，OPS和QA DevOps这个术语已经存在了很多年。大小公司都将DevOps概念用于不同目的，例如，以提高软件质量。...DevOps首先了解到，不再将开发（Dev），运营（Ops）和质量保证（QA）视为孤立的学科。取而代之的是，他们在协作团队中以共同的流程和责任聚在一起。DevOps通过多种技术实现了这一目标。...除了运行面向用户软件的生产环境之外，还可以定义将软件部署到的暂存和测试环境。例如，工程团队可以使用测试环境来进行同行评审和验证软件更改。一旦团队同意新软件，就可以将其部署到暂存环境中。...开发软件时，单元测试，编译器错误和同行评审将计入用于检测和修复缺陷的早期廉价机制。理想情况下，单元测试可以告诉开发人员该软件不正确，或者第二双眼睛可以看到在代码检查期间潜在的性能问题。...在这两种情况下，都不会浪费很多时间和精力，并且可以轻松修复该缺陷。但是，其他错误可能会通过这些初始检查得以实现，并进入测试或登台环境。还应该使用其他类型的测试和质量检查来检查软件质量。
DevOps首先了解到，不再将开发（Dev），运营（Ops）和质量保证（QA）视为孤立的学科。取而代之的是，他们在协作团队中以共同的流程和责任聚在一起。DevOps通过多种技术实现了这一目标。...这些自动化操作可以构建您的软件，运行单元测试，将其与现有系统集成，运行系统测试，部署它并提供每个步骤的反馈。我们在此描述的内容通常称为持续集成（CI）和持续交付（CD）。...除了运行面向用户软件的生产环境之外，还可以定义将软件部署到的暂存和测试环境。例如，工程团队可以使用测试环境来进行同行评审和验证软件更改。一旦团队同意新软件，就可以将其部署到暂存环境中。...开发软件时，单元测试，编译器错误和同行评审将计入用于检测和修复缺陷的早期廉价机制。理想情况下，单元测试可以告诉开发人员该软件不正确，或者第二双眼睛可以看到在代码检查期间潜在的性能问题。...在这两种情况下，都不会浪费很多时间和精力，并且可以轻松修复该缺陷。但是，其他错误可能会通过这些初始检查得以实现，并进入测试或登台环境。还应该使用其他类型的测试和质量检查来检查软件质量。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
