刘铁岩的对偶监督学习新论文亮相：入选ICML2017

李林 编译整理 量子位 报道 | 公众号 QbitAI

继NIPS2016上提出对偶学习，微软亚洲研究院副院长刘铁岩等又在Arxiv上发布了一篇相关论文：对偶监督学习(Dual Supervised Learning)。

这篇论文即将正式发表在ICML2017会议上，作者包括中国科学技术大学夏应策、俞能海，和微软亚洲研究院秦涛、陈卫、Jiang Bian、刘铁岩。

论文摘要

很多监督学习任务都呈现出对偶形态，比如英译法vs.法译英、语音识别vs.文字转语音(TTS)、图像分类vs.图像生成。

由于两个对偶任务的模型存在概率关联，这两个任务之间也有着固有的联系。然而，这种联系目前并没有得到有效的利用，因为人们通常会对两个对偶任务的模型分别进行独立训练。

本文提出了一种方法，对两个对偶任务的模型同时进行训练，明确地利用它们之间的概率关联来调整训练流程。我们将这种方法称为对偶监督学习(dual supervised learning)。

我们的结果显示，从机器翻译、图像处理到情感分析等应用领域，对偶监督学习对两个对偶任务的性能都有提升。

从对偶机翻到对偶监督学习

去年在NIPS2016上提出对偶学习的那篇论文恩，叫“用于机器翻译的对偶学习”，Dual Learning for Machine Translation。他们还给这种神经机器翻译的训练方式起名叫“dual-NMT”。

顾名思义，去年的论文讲的是对偶学习在机器翻译中的应用，对于其他类型的机器学习任务，并没有进行研究。

dual-NMT的提出，是为了解决神经机器翻译模型需要过多训练数据的问题。NMT的训练通常需要上千万对双语句子，人工标注成本非常高。

而他们用对偶学习技术，从一个10%的双语数据训练出的模型出发，

刘铁岩在后来的演讲中，也多次提到对偶学习，他说，除了机器翻译之外，其实还有很多对偶学习的例子，比如说语音信号处理、图像信号处理、对话等等，都可以做对偶学习。

就算是不存在天然对偶性的任务，也可以通过构建一个虚拟的对偶任务，借助对偶学习来改善效果。

这篇发表在ICML上的新论文，就探讨了对偶学习在更多任务中的应用。

成绩

这次的研究展示了对偶监督学习在三类人工智能任务上的效果：神经机器翻译、图像处理、情感分析。

在神经机器翻译上，应用对偶学习方法能将英语法语互译的BLEU得分提高2.07/0.86，将英语德语互译的BLEU得分提高1.37/0.12，将英语汉语互译的BLEU得分提高0.74/1.69。

在图像处理上，研究人员将对偶监督学习方法用于图像分类和基于类别标签的图像生成。结果显示，在CIFAR-10数据集上，对偶监督学习能将ResNet-110的错误率从6.43降低到5.40，生成模型生成的图像也更清晰。

在情感分析上，研究人员将语句的情感分类定义为对偶监督学习的主任务，它的对偶任务是根据特定情感取向来生成句子。在IMDB数据集上的实验结果表明，对偶监督学习能将广泛应用的情感分类模型的错误率降低0.9%，生成语句的情感表达也更加清晰、丰富。

相关资料

论文Dual Supervised Learning： https://arxiv.org/pdf/1707.00415.pdf

论文Dual Learning for Machine Translation： https://papers.nips.cc/paper/6469-dual-learning-for-machine-translation.pdf