腾讯自动化测试的 AI 智能

引子:

本文是林奕在腾讯 DevDays 2018 分享内容的脱敏整理,介绍了 CSIG 测试开发中心(前 SNG 测试开发中心)在自动化测试领域所做的智能化尝试。

大致分成下面几部分:

  • 使用 AI 面对和解决的问题是什么
  • AI 带来的曙光
  • 使用了哪些技术,效果是怎么样的
  • 未来展望

UI自动化测试的问题

从业务角度看自动化测试,看到的东西仅仅是冰山浮在水面上的一小部分,而在自动化测试深入的过程中,会发现有很多看不见的坑在冰山下面。

1 自动化测试的复杂度障碍

举一个例子来说明, UI自动化测试工具首要要解决的是识别UI中的各个元素,因为安卓、iOS、Windows这样的操作系统有非常不同的表现逻辑,导致测试工具要针对不同的平台区分不同版本的工具,QTA 测试工具也是按照这种结构去划分的。这是在冰山之上很显而易见的部分。

(冰山之上)

但是随着新技术的发展,越来越多的研发框架引入,如网页渲染、UI引擎甚至3D渲染引擎接连出现。这些数量繁多的开发框架,因为实现原理不同,在自动化测试过程中都会出现很多问题。

(冰山之下)

因为技术繁多,会让负责自动化测试工具的同学很受挫折,每一项技术都需要针对性的方案去解决,又面对非常多的场景要考虑兼容通用。

如下面的例子,一个软件界面,在人眼中看到的是完整的样子,但在UI自动化工具眼中,就要拆分成多个不同的模块使用不同技术来识别。

这是一个混合客户端的例子,但在现实中往往会发现,在一个界面中,经常会混合很多种渲染技术。每当一个新的UI渲染技术出现,自动化工具都要进行适配,这样下来不仅成本会非常高,也是一件很难做兼容的事情。这样就给自动化测试工具带来了无尽的挑战,是自动化工具开发遇到的困难点。

2 自动化测试同质元素识别障碍

第二个例子是一个闹钟应用的界面,但是在控件树上看起来,却因为区分不出内容,而只能把每一个时间元素同等对待。工具没有好办法来识别哪一个条目是北京的闹钟。

虽然通过无障碍化产品设计的方式,可以部分解决这一问题,但取决于产品的定位,并不是每一个产品都会支持到无障碍化。

除了无障碍之外,出现了很多例如React之类的响应式布局,开发在写代码时,很难预料实际运行时的UI结构,更难在开发时提供给测试使用的UI数据结构。

这样一来,又给自动化测试增加了难度。

3 自动化测试成效问题

在谈到自动化测试时,很多同学提到投入产出比。成效是推行自动化测试很重要的问题。

如上图,纵坐标是自动化测试的投入度,横坐标是随着产品演进过程的投入时间。自动化测试有两种投入方式,分别是脚本式和录制回放式。

脚本式在项目初期投入较高,而后会随着产品的功能逐渐完善而逐渐降低维护成本。但业务往往由于脚本式自动化测试初期投入过高,而选择初期比较简单上手的录制回放式方案。

而录制回放式方法由于界面变动就需要重新录制脚本,导致后续版本要投入与之前相同的工作量,而无法最终收敛。

另外一种场景,业务选择了脚本式自动化测试方案。但是投入并不彻底,导致随着功能开发迭代,自动化测试脚本的维护工作量并不收敛。这代表这次自动化测试的实施是失败的。如下图:

这其中的原因,最可能是没有做好自动化测试的变更管理——变化是影响UI自动化测试成效的关键因素。

控件识别和定位技术是自动化测试技术的关键难题

把以上三个问题做一下归纳,会发现自动化测试一个核心需要攻破的难点,那就是控件识别和定位。它是影响自动化测试成效的关键因素之一。

AI带来的曙光

QTA所做的AI尝试

QTA是在SNG跑了很多年的自动化测试平台,已经接入了170个活跃的公司产品和项目。仅2018年Q1,就自动化执行了一百四十万个测试任务、五千万个用例,按成时间平均每秒就有3个用例被执行。

这些数据基础,为QTA引入AI技术提供了可靠的数据来源。

QTAMetis 就是为了解决控件识别和定位技术这一关键难题,而引入AI优化能力。

(传统自动化测试识别和定位)

(Metis AI自动化测试识别和定位)

应用成熟的目标检测技术,可以看到 Metis 已经成功的把对象定位出来。而后通过分类器,把每一个元素分类和识别出来,例如哪些是可以点击的按钮,哪些是一个图片区域。然后通过OCR技术,把原件中对应的文本提取出来;如果是Logo,则通过图片的分类器把对应的Logo类型分类出来,而映射为特定的文本。

可以看到,这一实现结果和人看到的是一样的,与人类的认知相仿。已经基本脱离了APP本身的代码实现,也不需要再关注应用后面的UI实现技术,可以解决文章前面所述的几个问题。

同时还有另一个好处,比如某一个控件在新版本换了位置,对自动化测试没有任何影响。在成效方面,也减少了变更时增加的维护量。

在这种技术下,自动化测试脚本变得简单化:

(更接近自然语言的自动化测试脚本)

(脚本所实现的自动化测试效果,视频速度减慢15倍)

实际测试的速度会比视频快很多,虽然过程中出现一些误报,但 80% 的情况下已经能够满足自动化的要求。

(传统UI自动化测试与Metis的区别)

可以看到,AI已经可以使自动化测试实现一个质的飞跃。

但就像电动汽车尚未在马路上普及一样,在使用的时候还有若干个问题。

比如下图的界面,联系人有两个,容易导致AI混淆而进行误操作。

我们人之所以知道用哪个联系人,是因为人类有先前的知识积累,但是AI并没有类似的经验,导致没法分辨。

第二个问题,并不是全部的Logo都能识别出来,特别对于业务自定义的Logo和图案,识别的成本非常高。例如下图中用户自定义的厘米秀按钮:

为了解决这些问题,就像电动汽车很多车型采用混动技术一样,QTA采用了传统方式和Metis混用的方法,一定程度上补足了AI暂时性的不足。用户可以任意搭配传统和AI的方式。

第二种方式是把AI和算法混合,例如厘米秀,通过维护一系列相近的图片,使用模式匹配技术进行图片识别和认定,还是有一定的工作量会影响到自动化测试脚本编写者的使用体验。

小结一下QTA Metis所应用的主要技术:

第一是由海量脚本UI逻辑数据进行的大数据;第二是AI对象识别技术,包含OCR以及图像的分类;第三是AI目标检测技术,实时的检测每一个对象,并对每个对象进行分类。经过如上技术,让UI自动化测试“看得见”。

CSIG研发工具体系

QTA是 CSIG 的研发工具体系中的一部分,负责自动化测试,CSIG 体系中还有很多有用的工具,比如做代码扫描的CodeDog,以及致力于DevOps打通的持续集成流水线QCI等,也欢迎大家深入了解。

(CSIG 研发工具体系)

作者:林奕

腾讯 CSIG QTA 测试开发平台负责人

负责 BG 业务自动化测试落地

▼▽▼

腾讯研发团队效能提升的秘籍!

11月2-3日,DOIS 2018 · 深圳站!

腾讯敏捷研发、工蜂、专用云

3 位大咖与您分享 DevOps 落地的方法!

点击阅读原文,提前预定11月2-3日 DOIS 2018 · 深圳

原文发布于微信公众号 - DevOps时代(DevOpsTimes)

原文发表时间:2018-10-11

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏机器之心

入门 | 如果是个穷光蛋:如何从零开始学习成为一个数据科学家?

去年,我自学了数据科学,搜集了几百个在线资源,每天学 6~8 个小时。与此同时,我白天还在日托中心上班,拿着最低的薪资水平。

11620
来自专栏BestSDK

GitHub 发布 2018 年开源项目趋势

去年,Github 有来自将近 200 个国家的 2400 万的开发者聚集在一起,共同编写更好更强大的代码。2017 年,从框架到数据可视化,共构建了 2500...

38350
来自专栏PPV课数据科学社区

【译文】什么是数据可视化?②

Have you heard about data visualisations, wondered what a visualisation is, why ...

30740
来自专栏腾讯大讲堂的专栏

腾讯自动化测试的AI智能

引子: 本文是林奕在腾讯 DevDays 2018 分享内容的脱敏整理,介绍了 CSIG 测试开发中心(前 SNG 测试开发中心)在自动化测试领域所做的智能...

1.2K20
来自专栏企鹅号快讯

如何开发一款游戏:游戏开发流程及所需工具

「文末高能」 编辑 | 哈比 游戏作为娱乐生活的一个方面,参与其中的人越来越多,而大部分参与其中的人都是以玩家的身份。 他们热爱一款游戏,或是被游戏的故事情节、...

602100
来自专栏新智元

【更新】机器学习干货大放送,再来5G资料送你

新智元干货 【新智元导读】在第一期机器学习资料的基础上,我们又更新了课程《机器学习技法》《机器学习基础》《机器学习基石》《线性代数》等。 课程更新:《机器...

27750
来自专栏熊二哥

架构设计深入学习01--概论与预架构阶段

完成一个比较复杂的项目后,终于有空看看书了,这次决定将架构设计的方法论进行一次系统的学习,借助温昱大师的《一线架构师》一书。我将把这次学习分成三部分,分别是概论...

24650
来自专栏姬小光

设计师一小步,程序员一大步

首先,从产品人员这里,如果一开始就不信任开发人员,总想把东西往简单了说,或者排上了时间又插需求,那么开发人员也会产生相应的不信任:反正你是要插需求的,不多估算点...

12350
来自专栏程序员互动联盟

做软件测试,如何月薪过万?

很多人提到软件测试都觉得测试,就是看看软件能不能正常的运行,而且一般测试都是一些小姑娘,一般都是嘻嘻哈哈在聊天中就完成一些软件功能的测试,还有多大的技术含量,这...

464110
来自专栏PPV课数据科学社区

【工具】Excel,SPSS和QlikView等数据可视化产品选型指南

大数据的核心不是“大”,也不是“数据”,而是蕴含在其中的商业价值。作为挖掘数据背后潜在价值的重要手段,商业智能和分析平台成为大数据部署中的 关键环...

41660

扫码关注云+社区

领取腾讯云代金券