fine-tuning的二三事

日常的应用中,我们会很经常遇到一个问题:

如何应用强大的model(比如ResNet)去训练我们自己的数据?

考虑到这样的几个事实:

  1. 通常我们自己的数据集都不会大(<1w)
  2. 从头开始训练耗时

解决方法就是fine-tuning.

方式

参考CS231的资料,有三种方式

  • ConvNet as fixed feature extractor. 其实这里有两种做法: (1) 使用最后一个fc layer之前的fc layer获得的特征,学习个线性分类器(比如SVM) (2) 重新训练最后一个fc layer
  • Fine-tuning the ConvNet. 固定前几层的参数,只对最后几层进行fine-tuning
  • Pretrained models. 这个其实和第二种是一个意思,不过比较极端,使用整个pre-trained的model作为初始化,然后fine-tuning整个网络而不是某些层

选择

考虑两个问题:

  • 你的数据集大小
  • 你的数据集和ImageNet(假设在ImageNet上训练的)的相似性

分为四种情况,解决方法基于的原则就是:

NN中的低层特征是比较generic的,比如说线、边缘的信息,高层特征是Dataset Specific的,基于此,如果你的数据集和ImageNet差异比较大,这个时候你应该尽可能的少用pre-trained model的高层特征.

  1. 数据集小(比如<5000),相似度高 这是最常见的情况,可以仅重新训练最后一层(fc layer)
  2. 数据集大(比如>10000),相似度高 fine-tuning后几层,保持前面几层不变或者干脆直接使用pre-trained model作为初始化,fine-tuning整个网络
  3. 数据集小,相似度低 小数据集没有办法进行多层或者整个网络的fine-tuning,建议保持前几层不动,fine-tuning后几层(效果可能也不会很好)
  4. 数据集大,相似度低 虽然相似度低,但是数据集大,可以和2一样处理

从上面我们可以看出,数据集大有优势,否则最好是数据集和原始的相似度比较高;如果出现数据集小同时相似度低的情况,这个时候去fine-tuning后几层未必会有比较好的效果.

Caffe中如何进行fine-tuning

Caffe做fine-tuning相对tensorflow很简单,只需要简单修改下配置文件就行了.

此处假设你的数据集比较小,同时相似度比较高,仅需重新训练最后一层(fc)的情况.

(1) 降低solver中lr和stepsize

这个很明显,因为相似度比较高我们可以期望原始获得的feature和需要的是很接近的,此时需要降低学习率(lr)和迭代次数(stepsize).

(2) 修改最后一层fc的名字,设置好lr_mult

应为需要训练最后一层,我们把之前的层的学习率设置的很低(比如0.001),或者你干脆设置为0,最后一层设置一定的学习率(比如0.01),所以需要乘以10.

(3) 训练

其实就已经改好了,是不是很简单,按照之前标准化的训练测试就好了

知乎上fine-tuning的介绍上有更加详细的介绍,可以移步去看.

参考

(1) NodYoung的博客

(2) CS231的transfer-learning

(3) 知乎上关于caffe下做fine-tuning的介绍

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏编程

Mask R-CNN 源代码终上线,Facebook 开源目标检测平台—Detectron

Example Mask R-CNN output Facebook AI 研究院(FAIR)昨日开源了一款目标检测平台—Detectron,基于Python和...

4128
来自专栏AI研习社

Github 推荐项目 | 用 TensorFlow 简单地实现 StarGAN

StarGAN 是一种新颖且可扩展的方法,可以仅使用一个模型来执行多个域的图像到图像的转换。StarGAN 这样一个统一的模型体系架构让开发者可以同时训练单个网...

871
来自专栏CreateAMind

MaskRCNN 代码

https://github.com/CharlesShang/FastMaskRCNN

1163
来自专栏AI研习社

Github 项目推荐 | Facebook 密集人体姿态估计工具 DensePose

DensePose-RCNN 在 Detectron 框架下由 Caffe2 实现。

1463
来自专栏AI科技大本营的专栏

Mask R-CNN 源代码终上线,Facebook 开源目标检测平台—Detectron

Example Mask R-CNN output Facebook AI 研究院(FAIR)昨日开源了一款目标检测平台—Detectron,基于Python和...

4268
来自专栏锦小年的博客

matplotlib学习笔记1-图中显示中文

相信很多初学者和我一样,在利用matplotlib库画图的时候遇到过图例不能显示中文的问题。经过仔细探索(百度+谷歌),现分享一种简单便捷一劳永逸的方法。 一般...

19810
来自专栏SnailTyan

非极大值抑制(Non-Maximum Suppression)

博客:noahsnail.com  |  CSDN  |  简书 |   云+社区

6320
来自专栏新智元

手把手教你用OpenCV和Python实现图像和视频神经风格迁移(代码)

2015年,Gatsys等人在论文A Neural Algorithm of Artistic Style中提出了最初的神经风格迁移算法。2016年,Johns...

2492
来自专栏机器之心

教程 | 如何利用TensorFlow.js部署简单的AI版「你画我猜」图像识别应用

我们将使用卷积神经网络(CNN)来识别不同类型的手绘图像。这个卷积神经网络将在 Quick Draw 数据集(https://github.com/google...

2644
来自专栏CVer

用OpenCV实现图像和视频神经风格迁移(含代码)

2015年,Gatsys等人在论文A Neural Algorithm of Artistic Style中提出了最初的神经风格迁移算法。2016年,Johns...

3403

扫码关注云+社区