首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >深度学习: 迁移学习 (Transfer Learning)

深度学习: 迁移学习 (Transfer Learning)

作者头像
JNingWei
发布2018-09-27 15:21:09
2.3K0
发布2018-09-27 15:21:09
举报
文章被收录于专栏:JNing的专栏JNing的专栏

Introduction

把别处学得的知识,迁移到新场景的能力,就是“迁移学习”。

具体在实践中体现为:

将 A任务上 预训练好的模型 放在B任务上,加上少量B任务训练数据,进行微调 。

与传统学习的比较

传统学习中,我们会给不同任务均提供足够的数据,以分别训练出不同的模型:

这里写图片描述
这里写图片描述

但是如果 新任务 和旧任务类似,同时 新任务 缺乏足够数据 去从头训练一个新模型,那该怎么办呢?

迁移学习所做的事,就是将旧任务上训练好的模型拿过来放在新任务上,再加上点少量数据稍微调一调,效果往往并不输海量数据下的从头训练:

这里写图片描述
这里写图片描述

这是因为A任务和B任务很多共同特征:

这里写图片描述
这里写图片描述

迁移学习试图把处理A任务获取的知识,应用于B任务中。此时因为B任务中的大部分特征已经被A任务中预训练好的模型学得了,相当于提前完成了B任务中大部分的活儿,那么B任务自然只需再提供少量数据,即可炼得新模型。

优势

高效、省事。

影响

迁移学习被视为未来的几个重要研究领域之一:

这里写图片描述
这里写图片描述

目前,大部分的模型训练都是 迁移学习 ,已经很少有人从头开始新训练一个模型了。

比如基于深度网络的Detection算法,都是在用ImageNet训好的basemodel上,再用COCO或者自己的数据集fine-tune个20epoch足以。

Note

  • 一个epoch等于遍历该数据集所有图片一遍。
  • 只需要在COCO上fine-tune20个epoch足矣的原因,是因为basemodel已经在ImageNet上训练了几十轮。因此再经过COCO的fine-tune,此时模型就已经得到了 几十 + 20轮 的训练了。
  • CVPR2018 Best Paper 就是关于Transfer Learning的研究。

[1] 解析卷积神经网络—深度学习实践手册 [2] 为什么吴恩达认为未来属于迁移学习? [3] 一文读懂迁移学习

本文参与 腾讯云自媒体分享计划,分享自作者个人站点/博客。
原始发表:2018年02月03日,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体分享计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • Introduction
  • 与传统学习的比较
  • 优势
  • 影响
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档