测量神经网络真的难吗?Uber 说未必

AI 研习社按:本文由雷锋字幕组编译,原标题 Measuring the Intrinsic Dimension of Objective Landscapes,作者为 Uber AI Labs。 翻译 | 宥佑 余杭 整理 | 凡江

过去十年来,神经网络彻底改变了机器学习。机器学习从一个相对晦涩的学术研究领域崛起成为工业支柱,在大量数据可用的地方为众多应用提供支持。Uber 将神经网络用于多种应用,建立基于计算机视觉模型的世界地图、使用自然语言理解实现更快的消费者反映、通过对骑手需求模式进行建模来缩短等待时间。

在许多情况下,最成功的神经网络采用大量参数,从几百万到几亿甚至更多 ,以实现最佳性能。更令人兴奋的是,这些庞大的网络通常运作得很好,无论他们的任务如何,都能有较好的表现。但是这样的模型基本上是复杂的系统,无需人工干预就可以学习大量的参数,因此易于理解。尽管如此,仍然需要进一步理解网络行为,因为随着网络对社会的影响越来越大,理解其运作变得越来越重要,更好地理解网络机制和属性将加速下一代模型的构建。

Uber 研究团队的这篇《测量目标空间的固有维度》已经在 ICLR 2018 上展示了,研究试图提出一种测量基本网络属性的简单方法,被称为“固有维度”。他们提出,将固有维度作为模型复杂度的量化方式,并与其原始参数量相分离。与此同时,提供了一种使用随机投影来测量此维度的简单方法,发现很多问题的固有维度都比人们想象得要小。通过使用固有维度来比较跨域问题,例如,解决倒立摆问题比 MNIST 分类数字要容易 100 倍,利用像素玩 Atari Pong(雅达利游戏) 和分类 CIFAR-10 一样难。

下面的视频总结了我们的方法和一些有趣的发现:

视频内容

论文参考:https://eng.uber.com/intrinsic-dimension/

原文发布于微信公众号 - AI研习社(okweiwu)

原文发表时间:2018-05-16

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏AI科技评论

业界| 英特尔中国研究院深度学习领域最新成果——“动态外科手术”算法

编者注:本文为英特尔中国研究院最新研究成果,主要介绍了一个名为“动态外科手术”算法,有效地解决了处理大型网络时重训练时间长,误剪枝率高的问题。利用该算法,我们可...

32030
来自专栏IT大咖说

搜狗深度学习技术在广告推荐领域的应用

编者按 近来,深度学习成为一个流行词。深度学习可以更好地通过增加数据集的规模来改善学习结果,与传统的机器学习工具相比,深度学习挖掘了神经网络的潜力。基于强大的特...

61270
来自专栏AI科技评论

视频 | 测量神经网络真的难吗?Uber说未必

AI 科技评论按:本文由雷锋字幕组编译,原标题 Measuring the Intrinsic Dimension of Objective Landscape...

10620
来自专栏PPV课数据科学社区

收藏 | 27个机器学习小抄(附学习资源)

本文多资源,建议收藏。 本文针对机器学习基本概念及编程和数学基础,为你列出相应的学习资源。

17110
来自专栏AI科技评论

「超级 AI」的种子?复杂到人类难以评价的问题,可以教会一个 AI

AI 科技评论按:正如我们仍在自然语言处理的漫漫征途上摸索,AI 安全的课题也仍然没有得到系统的解决。作为前沿探索的积极分子,OpenAI 也不断提出新的思路,...

8730
来自专栏IT派

什么是深度学习?

什么是深度学习 深度学习,顾名思义,需要从“深度”和“学习”两方面来谈。 01 深度 深度学习的前身是人工神经网络(artificial neural netw...

36580
来自专栏AI科技评论

学界 | MIT周博磊团队:时序关系网络帮助计算机填补视频帧之间的空白

AI 科技评论按:如果你向一个人仅仅展示一段视频中的几帧,他通常可以推测出视频里发生的是什么事件以及屏幕上会显示出什么。例如,如果我们在视频开始时的帧中看到了一...

15630
来自专栏AI科技评论

业界 | 亮风台2D AR算法新突破,夺冠世界权威评测

在目前的AR应用中,2D AR跟踪,如海报、卡牌等平面物体的跟踪已经成为核心技术之一,在营销、教育、游戏、展示展览等方面都很常见。然而,尽管近年来2D AR跟踪...

15630
来自专栏CDA数据分析师

应用 AI 之前,你必须了解的 10 项准备工作

? 这篇文章对你的人工智能和机器学习项目进行分解,讨论其各个部分所带来的影响,从而帮助你确定公司是否真正准备利用机器学习、深度学习或人工智能。 不是每一个问题...

20890
来自专栏灯塔大数据

塔秘 | 应用 AI 之前,你必须了解的 10 项准备工作

导读 不是每一个问题都可以通过机器学习来解决,且不是每一个公司都准备应用人工智能。本文会告诉你,你的公司是否有利用人工智能的条件,以及在那之前如何才能实现它。 ...

40150

扫码关注云+社区

领取腾讯云代金券