腾讯TMQ在线沙龙回顾|大数据

大数据

活动时间：2017年12月20日 斗鱼直播分享 活动介绍：TMQ在线沙龙第三十六期分享

本次分享的主题：大数据。

共有65位测试小伙伴报名参加活动。

想知道活动分享了啥吗？

请往下看吧！

嘉宾

刘楚蓉：腾讯高级测试工程师。过去主要负责移动端产品质量体系建设、自动化工具开发、大数据业务测试等。在移动端质量体系建设及大数据测试方面有丰富的经验。

分享主题

大数据业务介绍 研发效率提升思路 实例分享

问答环节

1、这个平台是使用的什么工具？自己开发的吗？和大数据有什么关系呢？

答：平台开发使用的是常用的web server框架，在不同中业务实现有spring mvc，django等，由测试同学开发，平台本身与大数据没什么关系，分享的主要思路是在大数据业务研发流程中通过平台化实现“发现问题-分析定位-持续监控流程”一体化流程提升研发质量与效率。 2、这个平台是开发做的，还是测试做的呢？

答：平台是测试开发，但模块链路的梳理及服务日志输出是需要开发配合完成。 3、这个平台目前在Tencent通用还是应用宝自己维护及使用呢？

答：目前是应用宝自己维护使用，但建设过程会发现一些能力是可以提练成服务化能力在其它业务共同应用的，如语料分类能力、爬虫能力、指标结果计算等，大家如果在自己业务中实践，可以从一开始就考虑哪些能力尽量解耦，以便在横向业务中扩展应用。 4、模块打点是什么意思？

答：模块打点是指整体数据链路关键环节的log输出，一般是以接口数据回传或者打到服务器文件等方式输出，平台主要实现获取测试过程出现问题时抓取日志，能够把这些日志可视化输出。

5、这个讲的是单个问题的结果分析。有没有综合性的？趋势性的结果分析？

答：综合性的分析就是在分享过程说的归类分析，目前大数据业务问题分析解决往往根据某类问题出发去做算法优化或者工程逻辑优化，因此批量问题分析能力也非常重要，目前在平台中做的主要根据关键链路日志做分析，拉取问题列表对应log关键字段进行统计分析，从而得到不同问题分类比例，进而在每一轮测试中得到每类问题解决情况的趋势。 6、问题的归类类型是怎么划分的呢？

答：这个主要跟业务逻辑相关，通过业务逻辑的梳理，以及整体问题的分析，定位到问题根因，从而得到所有问题的根因类别。例如，在分享中讲到的，通过关键日志分析，得到问题分类为意图识别错误、召回错误、数据源错误等。 7、整个测试过程都是自动化实现的吗？

答：应该算是半自动化，例如实例分享中讲到的自动化拉取到批量语料测试结果后，需要人工进行标注评测，这部分是需要人工的。