专栏首页arxiv.org翻译专栏学习对测试执行进行编码和分类(CS SE)
原创

学习对测试执行进行编码和分类(CS SE)

自动确定测试执行的正确性的挑战被称为测试预言问题,并且是自动化测试中剩下的关键问题之一。本文的目的是以一种通用,可扩展和准确的方式来解决测试预言问题。

为了实现这一目标,我们对测试执行跟踪使用了监督学习。我们将执行跟踪的一小部分标记为通过或失败。我们使用标记的痕迹来训练神经网络(NN)模型,以学习区分给定程序的传递与失败执行的运行时模式。我们构建此NN模型的方法涉及以下步骤:1.编写程序以记录执行轨迹作为方法调用和全局状态的序列;2.用其结论标记执行轨迹的一小部分;3.设计NN组件将执行跟踪中的信息嵌入到固定长度的矢量中;4.设计一个使用跟踪信息进行分类的NN模型;5.对程序中看不见的执行跟踪评估推断出的分类模型。

我们使用来自不同应用程序领域的案例研究评估我们的方法:1.以太坊区块链模块;2. PyTorch深度学习框架模块;3. Microsoft SEAL加密库组件;4. Sed流编辑器;5.值指针库;6.来自Linux数据包标识符L7-Filter的九种网络协议。我们发现,所有学科计划的分类模型均能达到95%以上的高精度,召回率和专一性,而仅进行训练的平均痕迹总数为9%。我们的实验表明,所提出的神经网络模型作为测试预言机非常有效,并且能够学习运行时模式以区分来自不同应用程序域的系统和测试的测试执行通过与失败。

原文题目:Learning to Encode and Classify Test Executions

原文:The challenge of automatically determining the correctness of test executions is referred to as the test oracle problem and is one of the key remaining issues for automated testing. The goal in this paper is to solve the test oracle problem in a way that is general, scalable and accurate.

To achieve this, we use supervised learning over test execution traces. We label a small fraction of the execution traces with their verdict of pass or fail. We use the labelled traces to train a neural network (NN) model to learn to distinguish runtime patterns for passing versus failing executions for a given program. Our approach for building this NN model involves the following steps, 1. Instrument the program to record execution traces as sequences of method invocations and global state, 2. Label a small fraction of the execution traces with their verdicts, 3. Designing a NN component that embeds information in execution traces to fixed length vectors, 4. Design a NN model that uses the trace information for classification, 5. Evaluate the inferred classification model on unseen execution traces from the program.

We evaluate our approach using case studies from different application domains: 1. Module from Ethereum Blockchain, 2. Module from PyTorch deep learning framework, 3. Microsoft SEAL encryption library components, 4. Sed stream editor, 5. Value pointer library and 6. Nine network protocols from Linux packet identifier, L7-Filter. We found the classification models for all subject programs resulted in high precision, recall and specificity, over 95%, while only training with an average 9% of the total traces. Our experiments show that the proposed neural network model is highly effective as a test oracle and is able to learn runtime patterns to distinguish passing and failing test executions for systems and tests from different application domains.

原文作者:Foivos Tsimpourlas, Ajitha Rajan, Miltiadis Allamanis

原文地址:https://arxiv.org/abs/2001.02444

原创声明,本文系作者授权云+社区发表,未经许可,不得转载。

如有侵权,请联系 yunjia_community@tencent.com 删除。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 用于感测的储层计算:一种实验方法(CS ET)

    如果机器学习解决方案要渗透到生活的更多方面,则对其的限制越来越大。特别地,尤其在便携式医疗设备中,能量效率和操作速度至关重要。水库计算(RC)范式通过其运行的基...

    非过度曝光
  • 比较从执行日志中挖掘的约束以了解软件演进(CS SE)

    复杂的软件系统会频繁地演化,例如,在引入新特性或在维护期间修复错误时。然而,理解这些变化对系统行为的影响通常是困难的。因此,提出了许多方法来分析更改前后的系统,...

    非过度曝光
  • 忆阻神经元爆发性动态行为的产生与应用(CS ET)

    由两个忆阻器构建的忆阻器神经元可用于模拟生物神经元的许多动力学行为。 首先,全面研究了忆阻器神经元的动态工作条件及其在突增和爆发之间的转换边界。 然后,分析了突...

    非过度曝光
  • 【论文推荐】最新5篇目标检测相关论文——显著目标检测、弱监督One-Shot检测、多框检测器、携带物体检测、假彩色图像检测

    【导读】专知内容组整理了最近目标检测相关文章,为大家进行介绍,欢迎查看! 1. MSDNN: Multi-Scale Deep Neural Network f...

    WZEARW
  • 一文看尽21篇目标检测最新论文(腾讯/Google/商汤/旷视/清华/浙大/CMU/华科/中科院等)

    CVer 有几天没更新论文速递了,主要是这段时间的论文太多,而且质量较高的论文也不少,所以为了方便大家阅读,我已经将其中的目标检测(Object Detecti...

    Amusi
  • 基于图粗化和深度图学习的层次化快速图相似度计算(CS)

    在这项工作中,我们感兴趣的是大型图相似性计算问题,这是一个最重要的基于图的问题。传统的计算图编辑距离(GED)和最大公共子图(MCS)的精确值或近似值的技术要求...

    蔡秋纯
  • 【最新解读】Ray Dalio——中美之间的误解、争议和战争

    This evolutionary cycle is not just for people but for countries, companies, eco...

    量化投资与机器学习微信公众号
  • 【论文推荐】最新6篇机器翻译相关论文—词性和语义标注任务、变分递归神经机器翻译、文学语料、神经后缀预测、重构模型

    【导读】专知内容组整理了最近六篇机器翻译(Machine Translation)相关文章,为大家进行介绍,欢迎查看! 1. Evaluating Layers...

    WZEARW
  • 用信息瓶颈的迁移学习和探索

    Transfer and Exploration via the Information Bottleneck

    用户1908973
  • 在线设施分配问题的新结果和新界限(CS DS)

    考虑一个在线设施分配问题,其中一组设施F={f1,f2,f3,⋯,F| F|}等容量l位于一个度量空间上,客户以在线方式一个接一个到达该空间上。在新客户ci+1...

    啊瓜7706942

扫码关注云+社区

领取腾讯云代金券