今日 Paper | 联合多任务模型；3D人体重建；可视化理解机器翻译；深入研究整流器等

AI科技评论

发布于 2020-03-04 16:59:00

5520

发布于 2020-03-04 16:59:00

文章被收录于专栏：AI科技评论AI科技评论

联合多任务模型：多NLP任务的神经网络的创建

论文名称：A Joint Many-Task Model: Growing a Neural Network for Multiple NLP Tasks

作者：Kazuma Hashimoto /Caiming Xiong /Yoshimasa Tsuruoka /Richard Socher

发表时间：2016/11/5

论文链接：https://www.aclweb.org/anthology/D17-1206.pdf

推荐原因

核心问题：在自然语言理解领域有众多的任务，比如词性分析，语块分析，依存句法分析，文本语义相关，文本蕴涵等等，各个任务之间有着相互联系。研究者们通过多任务学习来促进任务间互相联系，提高各个任务的性能。

创新点：传统的多任务是并行实现的，但是这众多任务中是存在层次关系的，所以本文将不同任务栈式的叠加，越层次的任务具有更深的网络结构，当前层次的任务会使用下一层次的任务输出，类似于流水线的形式。

研究意义：相比平行的多任务结构有更好的效果。这样的框架也可以扩展到更多高层任务应用，而且效果也比较好，这也符合真实的情况。

Peelnet：基于单视角彩色图片的带纹理的3D人体重建

论文名称：PeelNet: Textured 3D reconstruction of human body using single view RGB image

作者：Sai Sagar Jinka /Rohan Chacko /Avinash Sharma /P. J. Narayanan

发表时间：2020/2/16

论文链接：https://arxiv.org/abs/2002.06664

由于严重的人体自遮挡、衣服变化和光照变化等众多问题，从单张彩色图像恢复人体形状和姿势是一个非常具有挑战性的问题。本文提出了一种端到端的生成对抗网络框架PeelNet，来从单张RGB图片重建带纹理的3D人体模型。

作者提出将3D人体模型表达为对自遮挡鲁棒的分离的深度图和彩色图(peeled depth and RGB maps)，并提出一个完整的端到端的框架，从单张彩色人体图片预测分离的深度图和彩色图，并进一步生成带纹理的3D人体模型。

文章的方法不依赖于参数化人体模型，对于穿宽松衣服的人体能够得到更加精确的结果，而且能够很好地处理人体自遮挡情况。

可视化理解机器翻译

论文名称：Visualizing and Understanding Neural Machine Translation

作者：Yanzhuo Ding / Yang Liu / Huanbo Luan / Maosong Sun

发表时间：2017/7/30

论文链接：https://www.aclweb.org/anthology/P17-1106.pdf

推荐原因

论文概要：目前深度学习发展迅速，但深度学习作为一个黑箱，越来越多的研究者开始关注深度学习的可解释性研究。本篇论文是17年的ACL论文，应用了LRP(layer-wise relevance propagation)方法对神经机器翻译进行了可视化理解。目前的注意力机制实际上表示了源语言和目标语言之间的联系，但不能很好地告诉我们目标语言是如何被翻译生成的。LRP(分层相关性传播)方法，最开始被应用于计算机视觉领域，通过计算单个像素对图像分类器预测结果的贡献进行可解释研究。本文将LPR方法应用在基于注意力机制的encoder-decoder模型中，去计算每个上下文单词对任意隐藏单元的贡献程度，从而可视化理解神经机器翻译模型。汉英翻译的实例研究表明，LRP方法可以很好地解释机器翻译的工作机制并且帮助分析翻译错误。

创新点与反思：本文首次应用LRP方法对NMT进行了可视化理解，并取得了不错的效果。LRP方法首先在计算机视觉领域被提出，作者将这种方法迁移应用到了自然语言处理领域，实际上现在计算机领域的深度学习可解释研究比较多，对其他领域的进一步研究有很好的借鉴意义。