热议 | 恺明大神又发新作 Rethinking ImageNet Pre-training，读过论文的你怎么看？

社长为你推荐来自 AI 研习社问答社区的精华问答。如有你也有问题，欢迎进社区提问。

话不多说，直接上题

@Mikasa 说：

如题，恺明大神又发新作 Rethinking ImageNet Pre-training

地址：https://arxiv.org/abs/1811.08883

在论文中，他们表示，如果你的数据量足够多，那么使用 ImageNet 预训练模型并不能提升准确度。

有读过论文的小伙伴吗？

来自社友的回答

▼▼▼

@从末

扔掉 ImageNet 预训练需要两个前提条件：一是有足够多的数据集；二是有足够强大的计算力。 然而目前很多领域恰恰存在数据量不足的问题，计算力也要视情况而定，恺明大神在论文中的观点在目前看来可能不具有太大的普遍性，但是可以是今后努力的方向啦~

@杨晓凡

恺明论文提出的这个问题也不是大家第一次意识到了。去年 CVPR 2017 有篇论文就隐含了类似的思路。我对照介绍一下，大家马上就明白了。 去年这篇 CVPR 论文名叫《Fine-tuning Convolutional Neural Networks for Biomedical Image Analysis: Actively and Incrementally》，来自做深度学习医学影像分析的人。这篇论文的方法是在 ImageNet 预训练模型上的精细调节模型+主动学习。为什么要这样做？用原作者的话说：“遇到两种情况的时候，这篇论文的可以非常强大的指导意义：一，一共手头有 100 个未标记样本，和仅仅够标记 10 个样本的钱，老板说，通过训练这十个标记的样本，能接近甚至达到训练 100 个样本的 performance；二，手头有了一个已经在 100 个样本中训练完的分类器，现在又来了100 个新标记的样本，老板说，只给提供够训练 10 个样本的计算机；或者只给你提供够训练 10 个样本的时间，让分类器尽快学习到新来样本的特征” 要么样本不足，要么计算资源不足，两种情况都是实际应用中常出现的状况，也是好的工程方法会极具价值的状况。所以为什么 ImageNet 预训练的做法会这么流行，就是因为在实践中遇到这样的限制时有事半功倍的效果。以至于 NLP 任务上也开始流行这种做法。 流行以后我们就要回过头来看了，要对这种做法做理论性的、全面的辨析。毋庸置疑的是样本不足、资源不足的时候这种方法效果很好，那么样本和资源都很多的时候，我们还需要这样做吗？何恺明就在这篇论文中给出了答案。具体如何大家也都心里有数。 前面提到的那篇 CVPR 2017 论文，作者自己写的介绍博客可见： https://www.leiphone.com/news/201707/mTyG0mVjpVag5mmn.html