学界 | 机器理解中的迁移学习,斯坦福联合微软提出SynNet网络

选自arXiv

机器之心编译

参与:李亚洲、Smith

近日,斯坦福大学、微软联合发表了一篇论文,提出了一种在机器理解(MC)中使用 2-阶段合成网络(SynNet) 进行迁移学习的技术。论文作者之一、前微软人工智能首席科学家邓力已经离职,加入对冲基金巨头 Citadel。

论文链接:https://arxiv.org/pdf/1706.09789.pdf

我们开发了一种在机器理解(MC)中使用一个全新的 2-阶段合成网络(SynNet) 进行迁移学习的技术。在某个领域中给定一个高性能 MC,我们的技术旨在回答有关另一领域文档的问题,其中我们使用的是无标记数据问答对。不使用提供的注释的情况下,在 SQuAN 数据集预训练的模型上使用我们提出的 SynNet,能够在 NewsQA 数据集挑战赛上取得 46.6% 的 F1 测量结果,接近领域内(in-domain) 模型的表现(F1 结果为 50.0%),超过域外(out-domain) 基线 7.6%。

图 1:2-阶段 SynNet 的图释。给定段落的情况下,训练 SynNet 的目的是对问题与答案进行合成。模型的第一阶段是一个答案合成模块,使用一个双向 LSTM 在输入段落上预测 IOB 标签,标记出可能是答案的关键语义概念。第二个阶段是一个问题合成模块,使用一个单向 LSTM 来生成问题,同时顾及段落中词汇与 IOB id 的嵌入。尽管段落中的多个跨度(span) 可以被认为是潜在答案,但我们只选择了一个 span 来生成问题。

表 1:随机采样的段落和对应的来自 NewsAQ 训练集的合成问题与人类问题的对比。

表 2:主要结果。使用我们的 SynNet 精调的 BIDAF 模型在 NewsQA 测试集上的精度匹配(EM)和 span F1 结果。

表 3:NewsQA 到 SQuAD。在 SQuAD 上开发的一系列 NewsQA BIDAF 模型与使用由 2-阶段 SynNet 生成的数据精调的模型的 EM 和 span F1 结果对比。

表 4:Ablations Studies。使用一个 2-阶段 SynNet 精调的 BIDAF 模型在 NewsQA 测试集上的精确匹配和跨距 F1 结果。

图 2:在 SQuAD(黄色)上训练的 BIDAF 模型基准的 NewsQA 准确率对比使用我们方法精调的模型对比在 NewsQA 上从头开始训练的一个模型(深蓝)。

本文为机器之心编译,转载请联系本公众号获得授权。

原文发布于微信公众号 - 机器之心(almosthuman2014)

原文发表时间:2017-07-05

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏数值分析与有限元编程

幂迭代法求矩阵特征值的Fortran程序

昨天所发布的迭代法称为正迭代法,用于求矩阵的主特征值,也就是指矩阵的所有特征值中最大的一个。其算法如下: ? 满足精度要求后停止迭代,xj是特征向量,λj是特征...

5055
来自专栏AI研习社

MIT 6.S094· 深度学习 | 学霸的课程笔记,我们都替你整理好了

深度学习:为多项人工智能技术服务的成套技术,近年来伴随着研究的不断深入和GPU能力的不断拓展,它也变得更加强大,SDC就是能够利用这些技术的系统。

1282
来自专栏目标检测和深度学习

MIT 6.S094· 深度学习 | 学霸的课程笔记,我们都替你整理好了

雷锋字幕组获MIT课程团队授权翻译自动驾驶课程,视频链接:http://www.mooc.ai/course/483/info 我们为你整理了每一个Lectu...

1152
来自专栏AI科技评论

学界 | 机器学习十大算法都是何方神圣?看完你就懂了

AI科技评论按:机器学习与人工智能变得越来越热。大数据原本在工业界中就已经炙手可热,而基于大数据的机器学习则更加流行,因为其通过对数据的计算,可以实现数据预测、...

3475
来自专栏新智元

TP-GAN 让图像生成再获突破,根据单一侧脸生成正面逼真人脸

【新智元导读】中科院自动化所(CASIA),中科院大学和南昌大学的一项合作研究,提出了双路径 GAN(TP-GAN),通过单一侧面照片合成正面人脸图像,取得了当...

4465
来自专栏腾讯技术工程官方号的专栏

腾讯AI Lab解析2017 NIPS三大研究方向,启动教授及学生合作项目

第一部分我们介绍在NIPS上启动与推介的针对教授、学者与学生的共享AI合作项目。第二部分对NIPS探讨的递归神经网络、随机或一阶优化及生成模型等三大研究领域做...

27910
来自专栏新智元

【11分钟训练完ImageNet】DNN训练再破纪录,1024 CPU Caffe开源

【新智元导读】此前,伯克利、TACC和UC戴维斯的研究人员使用新算法,在24分钟内训练完AlexNet,1小时训练完ResNet,创下了纪录。现在,他们继续推进...

53311
来自专栏机器学习算法与Python学习

特征工程技能图谱

关键字全网搜索最新排名 【机器学习算法】:排名第一 【机器学习】:排名第二 【Python】:排名第三 【算法】:排名第四 特征工程所涵盖的问题 本文主要想强调...

3064
来自专栏AI科技大本营的专栏

经典重译 | 来自华盛顿大学教授的机器学习“内功心法”

本文最初发表在 《ACM通讯》2012年第10辑。作者是华盛顿大学教授,著名的机器学习专家 Pedro Domingos。作者2016年凭借畅销书《终极算法》而...

3367
来自专栏AI研习社

Kaggle亚马逊比赛冠军专访:利用标签相关性来处理分类问题

近日,Kaggle Blog上刊登了对「Planet: Understanding the Amazon from Space」比赛冠军的专访,在访问中,我们了...

3998

扫码关注云+社区