首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往
您找到你想要的搜索结果了吗?
是的
没有找到

2017 深度学习框架发展大盘点——迎来 PyTorch,告别 Theano

深度学习是机器学习中一种基于对数据进行表征学习的方法,作为当下最热门的话题,谷歌、Facebook、微软等巨头纷纷围绕深度学习做了一系列研究,一直在支持开源深度学习框架的建设。 深度学习是机器学习中一种基于对数据进行表征学习的方法,作为当下最热门的话题,谷歌、Facebook、微软等巨头纷纷围绕深度学习做了一系列研究,一直在支持开源深度学习框架的建设。 过去一年间,在这些巨头的加持下,深度学习框架格局发生了极大改变:新框架横空出世,旧的框架也逐渐退出历史舞台,而框架与框架之间的联系也更加紧密,生态更为开放。

06

速度提升5.8倍数 | 如果你还在研究MAE或许DailyMAE是你更好的选择,更快更强更节能!!!

自监督学习(SSL)在机器学习中代表了转变性的飞跃,通过利用未标记数据来进行有效的模型训练[3, 4, 20, 22, 31, 32, 33, 34]。这种学习范式得益于大规模数据集,以学习丰富表示用于小样本学习[8]和迁移学习[13, 23]。互联网上大量的未标记数据激发了对深度神经网络模型在大数据集上训练的需求。目前,SSL的成功通常需要在高性能计算集群(HPC)[8, 11, 17]上训练数周。例如,iBOT [47]在16个V100上训练了193小时,用于ViT-S/16。这些计算不包括在开发SSL框架时测试不同假设所需要的时间,这些假设需要在ImageNet-1K[36]的适当规模上进行测试,ImageNet-1K拥有120万个样本,并且需要相当数量的迭代。因此,高效的预训练配方被高度期望以加速SSL算法的研究,例如,超参数调整和新算法的快速验证。为了减少训练时间,一些研究人员在ImageNet-1K[36]的子集上训练他们的模型,例如10%的样本[3]。然而,当模型扩展到大型数据集时,可能会存在性能差距,即在小数据集上表现成熟的模型可能无法处理复杂问题上的多样性。

01
领券