腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

深度学习计算机视觉

专栏作者

67

文章

87115

阅读量

29

订阅数

何恺明等NeurlPS新作:定义迁移学习新范式

迁移学习深度学习监督学习无监督学习

【摘要】基于深度学习的迁移学习的主流方法一般是从一个任务中学习到可迁移到其他任务的通用特征向量，例如语言中的单词嵌入和视觉中的预训练卷积特征（比如imagenet model 的预训练也是一种迁移），也就是在特征层面做迁移。然而，这些方法通常只是迁移一元特征，却很大程度上忽略了更结构化的图结构表征。本文探索了从大规模未标记数据中（无监督学习）学习捕获数据单元对（例如单词或像素）之间依赖关系的通用隐藏关系图，并将这些图传递给下游任务的可能性。我们提出的迁移学习框架提高了各种任务的性能，包括问答系统、自然语言推理、情感分析和图像分类。我们的测试还表明，学习到的图形是通用的，在图没有经过训练的情况下，可以迁移到不同嵌入（包括 GloVe 嵌入、ELMo 嵌入和任务特定的 RNN 隐藏单元）或无嵌入单元（如图形像素）。

2018-12-26

6850

没有更多了

社区活动

腾讯技术创作狂欢月

“码”上创作 21 天，分 10000 元奖品池！

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态