首次成功用CNN自动生成代码:北大研究者搞定了炉石传说

选自 arXiv

作者:孙泽宇、朱琪豪、牟力立、熊英飞、李戈、张路

机器之心编译

如果人工智能可以自动生成代码,程序员们就能减少很多工作压力(失业是不可能失业的)。

北大研究者最近提出了使用卷积神经网络(CNN)解码器生成代码的方法,并在《炉石传说》数据集上进行了测试,效果超过了此前各类业内最佳模型。该研究的论文已被 AAAI 2019 大会接收。研究者称,这是首个成功用 CNN 解码器生成代码的工作。

我们知道,程序包含对程序建模非常重要的丰富的结构信息。然而,传统的 Seq2Seq 神经网络不能直接建模程序结构。图 1 展示了一个 Python 抽象语法树(AST)示例,其中的 n3、n6 两个节点需要拥有父-子节点那样密集的关联,但如果该树是前序穿过序列的,彼此间就会比较远。这对 Seq2Seq 模型而言就比较困难。

图 1:代码的抽象语法树(AST):init(a)。

为了解决这个问题,Dong 和 Lapata (2016) 提出了一种沿着程序的抽象语法树生成代码的方法,但这种生成仍然处于 token 级别。近来,更多的研究通过在每一步预测或重写语法规则 (Xiong et al. 2018; Yin and Neubig 2017; Rabinovich, Stern, and Klein 2017) 来生成程序;因此,确保了生成的程序在语法上是正确的。当在这些方法中使用神经网络时,RNN 被用来捕获解码器中预测的自回归。

在深度学习社区,研究人员对使用卷积网络作为解码器越来越感兴趣 (Gehring et al. 2017; Chaturvedi, Pandit, and Garain 2018),因为它效率高且容易训练。研究者进一步观察发现,程序比自然语言语句大得多,即使是带有长短期记忆 (Hochreiter and Schmidhuber 1997, LSTM) 单元的 RNN 也存在长期依赖问题 (Bengio, Simard, and Frasconi 1994)。而 CNN,却能通过滑动窗口有效地捕获不同区域的特征。

为此,研究者提出了一种基于语法的结构化 CNN 来用于代码生成。他们的模型根据 AST 中的语法结构规则生成代码,例如,If → expr stmt* stmt*就遵循了他们先前研究 (Xiong et al. 2018) 中的框架。由于子节点序列是通过一个预测步骤生成的,因此与逐个 token 生成相比,它能够实现更紧凑的预测。换句话说,该模型预测语法规则序列,最终形成整个程序。

在他们的方法中,语法规则的预测主要基于三种类型的信息:指定生成程序的源序列,先前预测的语法规则,以及已经生成的部分 AST。在这里,第一个信息是编码器的输入,后两者使得解码器能够自回归,和以前一样,解码器以编码器为条件。

图 2:模型概览,虚线箭头表示注意力控制器。

研究者在已有的基准数据集 HearthStone(炉石传说)上进行了实验(如图 4 所示),任务是 Python 代码生成(Ling et al. 2016),表 2 展示了该数据集的统计。实验结果表明他们提出的基于 CNN 的代码生成方法远远超越了以前的基于 RNN 的方法(如表 3 所示)。研究者还进行了扩展性的控制变量测试,表明基于语法的结构化 CNN 相比一般的 CNN 应用方法更优越(如表 4 所示)。研究者进一步在两个语义解析任务上评估了该方法,其中目标程序比炉石传说的更短;他们的方法依然得到了和以前的最佳方法相当的性能,表明该方法具备鲁棒性(如表 5 所示)。

图 4:炉石传说数据集的示例卡片,(a)输入描述;(b)输出程序。

表 2:数据集统计。

表 4:控制变量测试。

论文中研究者称,他们的研究是第一次成功使用 CNN 解码器生成代码的工作。表 3 展示了基于 CNN 的代码生成结果,并与此前的业内最佳模型进行了对比。

如表中所示,新模型在准确率和 BLEU 分数方面都优于以前的所有结果。尤其是,新模型在准确率方面显著高于此前的业内最佳模型——在字符串准确率上高出了 5%。对于手动调整的准确率来说,Yin & Neubig(2017)曾报告过大约 2% 的提升。在本文中,北大的研究者也观察到了类似的效果,实现了 30.3% 的 Acc+分数,这证明了新方法的有效性。

表 3:新模型与此前业内最佳模型的对比,以百分比记。在手动调整后性能大概能增加 2%(Yin and Neubig (2017))。

表 5:语义分析的准确性(以百分比记)。

论文:A Grammar-Based Structural CNN Decoder for Code Generation

论文地址:https://arxiv.org/abs/1811.06837

摘要:代码生成可以将一份程序描述映射为用一种编程语言写成的可执行源代码。现有的方法主要依赖于循环神经网络(RNN)作为解码器。然而,我们发现程序比自然语言句子包含的 token 要多得多,因此 RNN 可能并不适合捕捉长句。本文提出了一个基于语法的结构化卷积神经网络(CNN),用于代码生成。我们的模型通过预测编程语言的语法规则来生成程序;我们设计了若干个 CNN 模块,包括基于树的卷积和前序卷积,其信息通过专用的注意力池化层进一步聚集。在炉石传说基准数据集上的实验结果显示,我们的 CNN 代码生成器的表现超出之前最佳方法 5 个百分点;我们通过另外几个实验在若干语义分析任务上验证了模型的鲁棒性。为了更好地理解模型的每个部分,我们还进行了深入的控制变量测试。

原文发布于微信公众号 - 机器之心(almosthuman2014)

原文发表时间:2018-11-26

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏AI研习社

无监督聚类问题中,如何决定簇的最优数量?

编者按:聚类问题有一大经典难题:没有数据集的真实分类情况,我们怎么才能知道数据簇的最优数目? 本文会谈谈解决该问题的两种流行方法:elbow method(肘子...

3608
来自专栏AI科技大本营的专栏

前沿 | DeepMind 最新研究——神经算术逻辑单元,有必要看一下!

众所周知,神经网络可以学习如何表示和处理数字式信息,但是如果在训练当中遇到超出可接受的数值范围,它归纳信息的能力很难保持在一个较好的水平。为了推广更加系统化的数...

981
来自专栏人工智能LeadAI

pyTorch自然语言处理简单例子

最近在学pyTorch的实际应用例子。这次说个简单的例子:给定一句话,判断是什么语言。这个例子是比如给定一句话: Give it to me 判断是 ENGL...

4247
来自专栏机器之心

教程 | 一个基于TensorFlow的简单故事生成案例:带你了解LSTM

选自Medium 机器之心编译 参与:Ellan Han、吴攀 在深度学习中,循环神经网络(RNN)是一系列善于从序列数据中学习的神经网络。由于对长期依赖问题...

4429
来自专栏计算机视觉战队

简单易懂的讲解深度学习(入门系列之五)

我们知道,《三字经》里开篇第一句就是:“人之初,性本善”。那么对于神经网络来说,这句话就要改为:“网之初,感知机”。感知机( Perceptrons ),基本上...

901
来自专栏人工智能LeadAI

GoogLeNet的心路历程(二)

本文介绍关于GoogLeNet的续作,习惯称为inception v2,如下: [v2] Batch Normalization: Accelerating D...

3646
来自专栏AI科技评论

干货 | 元旦,一起NLP!(下)

0.Roadmap 1. 模型 | 语言模型与词嵌入 2. 模型 | LSTM 3. 盘点 | 那些顶级会议 4. 模型 | Seq2Seq 和 Attenti...

3675
来自专栏机器之心

教程 | 如何解决LSTM循环神经网络中的超长序列问题

选自MachineLearningMastery 作者:Jason Brownlee 机器之心编译 参与:李泽南 在 LSTM 循环神经网络面临长序列输...

5336
来自专栏老秦求学

LSTM生成尼采风格文章

github地址 使用循环神经网络生成序列文本数据。循环神经网络可以用来生成音乐、图像作品、语音、对话系统对话等等。

2794
来自专栏Coding迪斯尼

用深度学习实现自然语言处理:word embedding,单词向量化

前几年,腾讯新闻曾发出一片具有爆炸性的文章。并不是文章的内容有什么新奇之处,而是文章的作者与众不同,写文章的不是人,而是网络机器人,或者说是人工智能,是算法通过...

1041

扫码关注云+社区

领取腾讯云代金券