首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往
您找到你想要的搜索结果了吗?
是的
没有找到

【模型优化】开源|GCP显著加快网络收敛,对图像破坏和扰动产生的失真样本具有较强的鲁棒性,对不同的视觉任务具有较好的泛化能力

最近的研究表明全局协方差池化(GCP)能够显著提升深层卷积神经网络在视觉分类任务中的性能。尽管如此,GCP在深层卷积神经网络中的作用机理尚未得到很好的研究。本文试图从优化的角度来理解GCP为深层卷积神经网络带来了哪些好处。详细地来说,本文从优化损失的利普希茨平滑性和梯度的可预测性两个方面探讨了GCP对深层卷积神经网络的影响,同时讨论了GCP与二阶优化之间的联系。更重要的是,本文的发现可以解释一些GCP以前尚未被认识到或充分探索的优点,包括显著加快了网络收敛,对图像破坏和扰动产生的失真样本具有较强的鲁棒性,对不同的视觉任务具有较好的泛化能力。通过利用不同网络架构在多种视觉任务上进行大量的实验,为本文的发现提供了有力的支持。

01
领券