点击上方“Deephub Imba”,关注公众号,好文章不错过 !
Reducing Label Effort: Self-Supervised meets Active Learning这篇论文将主动学习和自监督训练结合,减少了标签的依赖并取得了很好的效果。
通过自监督的预训练强化主动学习框架图
该框架包括3个阶段:
上述阶段重复,直到全部标签都进行了训练和标注。
在主动学习方面,考虑了几种获不同的方法,包括Informativeness[10]和Representativeness[42,40]的方法。论文中并没有提及抽样方法的问题,因为作者发现最好的方法是随机抽样。
使用SimSiam进行自监督学习
这里可以使用任何自监督学习框架。作者选用的是SimSiam
均匀地从所有类中随机选择整个数据集的1%,2%和10%。对于其中一个数据集,论文还评估了0.1%和0.2%的选取规模。
在每个循环中,训练要么完全重新开始,要么首先使用自监督训练预训练主干网络。该模型在c个循环中进行训练,直到完成所有的选取规模。
CIFAR-10 & CIFAR-100
实验表明特别是在低预算(训练标注少)的情况下,自监督大大减少了所需的标签。
这两种方法(使用和不使用自监督预训练)在标记了50%的数据后几乎达到了完整的性能,缩小了自监督方法和监督方法之间的差距。从主动学习的角度来看,当标注数据小于1%时,随机抽样优于AL。
上图为CIFAR-100在低预算的情况下,自监督的预训练大大减少了所需的标签数量。
当接近有包含50%标记数据时,无自监督训练的AL与自监督训练的同类方法的性能相当,这意味着当预算增加时,自监督训练的影响会减少。但是无论是否使用自监督的预训练,随机抽样都优于低预算的主动学习方法。
这些趋势与CIFAR-10的趋势相似。
当标注数据越来越多,AL和AL+ Self-training之间的性能差距减小了。
Tiny ImageNet
自监督的预训练在低预算方案中大大减少了所需的标记。
与CIFAR数据集不同的是,AL需要超过50%的标记来缩小它们与自监督训练的性能差距。在采用自监督训练的方法中,随机抽样的效果较好。但是与上面一样增加标记数据可以缩小与AL方法的性能差距。
两个实验结果都表明:在主动学习框架中,低预算的情况下SimSiam帮助很大。在高预算下,从头训练和SimSiam之间的性能差距缩小了。
最后是论文和引用
[2021 ICCVW] [SimSiam+AL]Reducing Label Effort: Self-Supervised Meets Active Learning arxiv :2108.11458
作者:Sik-Ho Tsang
MORE
kaggle比赛交流和组队
加我的微信,邀你进群
喜欢就关注一下吧:
点个 在看 你最好看!
本文分享自 DeepHub IMBA 微信公众号,前往查看
如有侵权,请联系 cloudcommunity@tencent.com 删除。
本文参与 腾讯云自媒体同步曝光计划 ,欢迎热爱写作的你一起参与!