首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

干货 | 康奈尔博士后黄高:如何设计高效地卷积神经网络

AI 科技评论按:卷积神经网络则是深度学习最具代表性的模型,在计算机视觉和自然语言翻译等领域有着极其广泛的应用。随着精度以及复杂度的逐步提升,卷积网络的推理效率问题越来越明显的成为制约其在实际应用中的瓶颈。 在近期 GAIR 大讲堂上,来自康奈尔大学的博士后黄高做了一场主题为「高效卷积神经网络的结构设计与探索」的技术分享,本文根据直播分享内容整理而成,更多细节推荐点击阅读原文观看视频回放。 黄高博士,现为美国康奈尔大学计算机系博士后,主要研究领域为深度神经网络的结构设计与优化算法,以及深度学习在计算机视觉与

011

康奈尔博士后黄高:如何设计高效地卷积神经网络

AI 科技评论按:卷积神经网络则是深度学习最具代表性的模型,在计算机视觉和自然语言翻译等领域有着极其广泛的应用。随着精度以及复杂度的逐步提升,卷积网络的推理效率问题越来越明显的成为制约其在实际应用中的瓶颈。 黄高博士,现为美国康奈尔大学计算机系博士后,主要研究领域为深度神经网络的结构设计与优化算法,以及深度学习在计算机视觉与自然语言理解中的应用;获得北京航空航天大学学士学位,清华大学控制科学与工程博士学位。其博士论文被评为中国自动化学会优秀博士学位论文以及清华大学优秀博士论文一等奖。目前已发表学术论文20余

06
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    【模型优化】开源|GCP显著加快网络收敛,对图像破坏和扰动产生的失真样本具有较强的鲁棒性,对不同的视觉任务具有较好的泛化能力

    最近的研究表明全局协方差池化(GCP)能够显著提升深层卷积神经网络在视觉分类任务中的性能。尽管如此,GCP在深层卷积神经网络中的作用机理尚未得到很好的研究。本文试图从优化的角度来理解GCP为深层卷积神经网络带来了哪些好处。详细地来说,本文从优化损失的利普希茨平滑性和梯度的可预测性两个方面探讨了GCP对深层卷积神经网络的影响,同时讨论了GCP与二阶优化之间的联系。更重要的是,本文的发现可以解释一些GCP以前尚未被认识到或充分探索的优点,包括显著加快了网络收敛,对图像破坏和扰动产生的失真样本具有较强的鲁棒性,对不同的视觉任务具有较好的泛化能力。通过利用不同网络架构在多种视觉任务上进行大量的实验,为本文的发现提供了有力的支持。

    01

    【无监督学习最新研究】简单的「图像旋转」预测,为图像特征学习提供强大监督信号

    【新智元导读】在论文中,研究人员训练卷积神经网络来识别被应用到作为输入的图像上的二维旋转。从定性和定量两方面证明,这个看似简单的任务实际上为语义特征学习提供了非常强大的监督信号。 在过去的几年中,深度卷积神经网络(ConvNets)已经改变了计算机视觉的领域,这是由于它们具有学习高级语义图像特征的无与伦比的能力。然而,为了成功地学习这些特征,它们通常需要大量手动标记的数据,这既昂贵又不可实行。因此,无监督语义特征学习,即在不需要手动注释工作的情况下进行学习,对于现今成功获取大量可用的可视数据至关重要。 在我

    06
    领券