话题 | 恺明大神又发新作 Rethinking ImageNet Pre-training,读过论文的你怎么看?

社长为你推荐来自 AI 研习社问答社区的精华问答。如有你也有问题,欢迎进社区提问。

话不多说,直接上题

@Mikasa 说:

如题,恺明大神又发新作 Rethinking ImageNet Pre-training

地址:https://arxiv.org/abs/1811.08883

在论文中,他们表示,如果你的数据量足够多,那么使用 ImageNet 预训练模型并不能提升准确度。

有读过论文的小伙伴吗?

来自社友的讨论

▼▼▼

@杨 晓凡

恺明论文提出的这个问题也不是大家第一次意识到了。去年 CVPR 2017 有篇论文就隐含了类似的思路。我对照介绍一下,大家马上就明白了。 去年这篇 CVPR 论文名叫《Fine-tuning Convolutional Neural Networks for Biomedical Image Analysis: Actively and Incrementally》,来自做深度学习医学影像分析的人。这篇论文的方法是在 ImageNet 预训练模型上的精细调节模型+主动学习。为什么要这样做?用原作者的话说:“遇到两种情况的时候,这篇论文的可以非常强大的指导意义:一,一共手头有 100 个未标记样本,和仅仅够标记 10 个样本的钱,老板说,通过训练这十个标记的样本,能接近甚至达到训练 100 个样本的 performance;二,手头有了一个已经在 100 个样本中训练完的分类器,现在又来了 100 个新标记的样本,老板说,只给提供够训练 10 个样本的计算机;或者只给你提供够训练 10 个样本的时间,让分类器尽快学习到新来样本的特征” 要么样本不足,要么计算资源不足,两种情况都是实际应用中常出现的状况,也是好的工程方法会极具价值的状况。所以为什么 ImageNet 预训练的做法会这么流行,就是因为在实践中遇到这样的限制时有事半功倍的效果。以至于 NLP 任务上也开始流行这种做法。 流行以后我们就要回过头来看了,要对这种做法做理论性的、全面的辨析。毋庸置疑的是样本不足、资源不足的时候这种方法效果很好,那么样本和资源都很多的时候,我们还需要这样做吗?何恺明就在这篇论文中给出了答案。具体如何大家也都心里有数。 (前面提到的那篇 CVPR 2017 论文,作者自己写的介绍博客可见 : https://www.leiphone.com/news/201707/mTyG0mVjpVag5mmn.html)

@丛末

扔掉 ImageNet 预训练需要两个前提条件:一是有足够多的数据集;二是有足够强大的计算力。 然而目前很多领域恰恰存在数据量不足的问题,计算力也要视情况而定,恺明大神在论文中的观点在目前看来可能不具有太大的普遍性,但是可以是今后努力的方向啦~

@李加薪

现在的孩子真不容易,还是我们那时候幸福

@社长

总结:预训练可以加快收敛,但是无法提高精度

@byhon

简单粗暴的意思就是数据为王,数据量不够怎么都不好使

@菠萝菠萝

虽然在深度学习中随机确实很有帮助,但是没有大家说的那么神吧,什么推翻“ImageNet”,OMG

原文发布于微信公众号 - AI研习社(okweiwu)

原文发表时间:2018-11-26

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏量化投资与机器学习

【量化核武】美丽的回测——教你定量计算过拟合概率

作者:石川| 公众号专栏作者 | 量信投资 创始合伙人,清华大学学士、硕士,麻省理工学院博士;精通各种概率模型和统计方法,擅长不确定性随机系统的建模及优化。知乎...

35840
来自专栏计算机视觉战队

Deep Learning(深度学习)神经网络为啥可以识别?

今天看到一些感兴趣的东西,现在总结了给大家分享一下,如果有错,希望大家指正批评,谢谢!那就开始进入正题。 先从简单的说起来吧! 一、基本变换:层 一般的神经...

28560
来自专栏大数据文摘

学界 | Ian Goodfellow最新论文:是猫还是狗?不光神经网络识别不了,你也能被忽悠

26440
来自专栏SIGAI学习与实践平台

OCR技术简介

光学字符识别(Optical Character Recognition, OCR)是指对文本资料的图像文件进行分析识别处理,获取文字及版面信息的过程。亦即将图...

3.9K10
来自专栏AI研习社

详解基于朴素贝叶斯的情感分析及Python实现

相对于「 基于词典的分析 」,「 基于机器学习 」的就不需要大量标注的词典,但是需要大量标记的数据,比如: 还是下面这句话,如果它的标签是: 服务质量 - 中 ...

43980
来自专栏AI科技大本营的专栏

“照骗”难逃Adobe的火眼金睛——用机器学习让P图无所遁形

【导读】下图是 2008 年伊朗政府发布的一张图片,然而强大的网友们却凭借着肉眼,看出来图中黄色圈出的部分和红色圈出的部分是一模一样的,不得不说网友们真的是火眼...

9820
来自专栏人工智能头条

计算机视觉中,目前有哪些经典的目标跟踪算法?

88760
来自专栏CVer

[计算机视觉论文速递] 2018-03-20

通知:这篇推文有13篇论文速递信息,涉及图像分割、SLAM、显著性、深度估计、车辆计数等方向 往期回顾 [计算机视觉] 入门学习资料 [计算机视觉论文速递] ...

57680
来自专栏新智元

计算机视觉中,目前有哪些经典的目标跟踪算法?

【新智元导读】这篇文章将非常详细地介绍计算机视觉领域中的目标跟踪,尤其是相关滤波类方法,分享一些作者认为比较好的算法。 相信很多来这里的人和我第一次到这里一样,...

943100
来自专栏大数据文摘

干货 | Active Learning: 一个降低深度学习时间,空间,经济成本的解决方案

23620

扫码关注云+社区

领取腾讯云代金券