Uber AI实验室提出:测量目标空间的固有维度

雷锋网按:本文由雷锋字幕组编译,原标题 Measuring the Intrinsic Dimension of Objective Landscapes,作者为 Uber AI Labs。

翻译 | 宥佑  余杭    整理 |  凡江

Uber研究团队在 ICLR 2018 上展示了这篇「 测量目标空间的固有维度 」,研究试图提出一种测量基本网络属性的简单方法,被称为“固有维度”。

下面的视频总结Uber的方法和发现:

过去十年来,神经网络彻底改变了机器学习。机器学习从一个相对晦涩的学术研究领域崛起成为工业支柱,在大量数据可用的地方为众多应用提供支持。Uber 将神经网络用于多种应用,建立基于计算机视觉模型的世界地图、使用自然语言理解实现更快的消费者反映、通过对骑手需求模式进行建模来缩短等待时间。

在许多情况下,最成功的神经网络采用大量参数,从几百万到几亿甚至更多 ,以实现最佳性能。更令人兴奋的是,这些庞大的网络通常运作得很好,无论他们的任务如何,都能有较好的表现。但是这样的模型基本上是复杂的系统,无需人工干预就可以学习大量的参数,因此易于理解。尽管如此,仍然需要进一步理解网络行为,因为随着网络对社会的影响越来越大,理解其运作变得越来越重要,更好地理解网络机制和属性将加速下一代模型的构建。

Uber研究团队的这篇「测量目标空间的固有维度 」已经在ICLR 2018上展示了,研究试图提出一种测量基本网络属性的简单方法,被称为“固有维度”。他们提出,将固有维度作为模型复杂度的量化方式,并与其原始参数量相分离。与此同时,提供了一种使用随机投影来测量此维度的简单方法,发现很多问题的固有维度都比人们想象得要小。通过使用固有维度来比较跨域问题,例如,解决倒立摆问题比MNIST分类数字要容易100倍,利用像素玩 Atari Pong(雅达利游戏) 和分类 CIFAR-10 一样难。

论文参考:

https://eng.uber.com/intrinsic-dimension/

雷锋网雷锋网

  • 发表于:
  • 原文链接https://kuaibao.qq.com/s/20180522A0LDQ900?refer=cp_1026
  • 腾讯「云+社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。
  • 如有侵权,请联系 yunjia_community@tencent.com 删除。

扫码关注云+社区

领取腾讯云代金券