首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往
您找到你想要的搜索结果了吗?
是的
没有找到

CVPR2021性能提升:Facebook提出FP-NAS——搜索速度更快、分类精度更高、性能更好

就职于 Facebook AI 的严志程博士和他的同事最近在 CVPR 2021 发表了关于加速概率性神经架构搜索的最新工作。该工作提出了一种新的自适应架构分布熵的架构采样方法来显著加速搜索。同时,为了进一步加速在多变量空间中的搜索,他们通过在搜索初期使用分解的概率分布来极大减少架构搜索参数。结合上述两种技巧,严志程团队提出的搜索方法 FP-NAS 比 PARSEC [1] 快 2.1 倍,比 FBNetV2 [2] 快 1.9-3.5 倍,比 EfficientNet [3] 快 132 倍以上。FP-NAS 可以被用于直接搜索更大的模型。搜索得到 FP-NAS-L2 模型复杂度达到 1.0G FLOPS,在只采用简单知识蒸馏的情况下,FP-NAS-L2 能够比采用更复杂的就地蒸馏的 BigNAS-XL [4]模型,提高 0.7% 分类精度。

01

2022最新综述 | 自动图机器学习,阐述AGML方法、库与方向

图机器学习在学术界和工业界都得到了广泛的研究。然而,随着图学习相关文献的不断涌现,涌现出大量的方法和技术,手工设计出针对不同图相关任务的最优机器学习算法变得越来越困难。为了解决这一问题,自动图机器学习(automated graph machine learning)正受到越来越多的研究领域的关注,它旨在为不同的图任务/数据在没有人工设计的情况下发现最佳的超参数和神经结构配置。在本文中,我们广泛地讨论了自动化图机器方法,包括超参数优化(HPO)和神经结构搜索(NAS)的图机器学习。我们将分别简要介绍现有的用于图机器学习和自动机器学习的库,并进一步深入介绍AutoGL,这是我们专门的、也是世界上第一个用于自动图机器学习的开源库。最后,我们分享了对自动图机器学习未来研究方向的见解。这篇论文是第一个系统和全面的讨论的方法,库以及自动化图机器学习的方向。

04
领券