过去十年来,神经网络彻底改变了机器学习。机器学习从一个相对晦涩的学术研究领域崛起成为工业支柱,在大量数据可用的地方为众多应用提供支持。Uber 将神经网络用于多种应用,建立基于计算机视觉模型的世界地图、使用自然语言理解实现更快的消费者反映、通过对骑手需求模式进行建模来缩短等待时间。
在许多情况下,最成功的神经网络采用大量参数,从几百万到几亿甚至更多 ,以实现最佳性能。更令人兴奋的是,这些庞大的网络通常运作得很好,无论他们的任务如何,都能有较好的表现。但是这样的模型基本上是复杂的系统,无需人工干预就可以学习大量的参数,因此易于理解。尽管如此,仍然需要进一步理解网络行为,因为随着网络对社会的影响越来越大,理解其运作变得越来越重要,更好地理解网络机制和属性将加速下一代模型的构建。
Uber 研究团队的这篇《测量目标空间的固有维度》已经在 ICLR 2018 上展示了,研究试图提出一种测量基本网络属性的简单方法,被称为“固有维度”。他们提出,将固有维度作为模型复杂度的量化方式,并与其原始参数量相分离。与此同时,提供了一种使用随机投影来测量此维度的简单方法,发现很多问题的固有维度都比人们想象得要小。通过使用固有维度来比较跨域问题,例如,解决倒立摆问题比 MNIST 分类数字要容易 100 倍,利用像素玩 Atari Pong(雅达利游戏) 和分类 CIFAR-10 一样难。
下面的视频总结了我们的方法和一些有趣的发现:
论文参考:https://eng.uber.com/intrinsic-dimension/
领取专属 10元无门槛券
私享最新 技术干货