测量神经网络真的难吗？Uber 说未必

过去十年来，神经网络彻底改变了机器学习。机器学习从一个相对晦涩的学术研究领域崛起成为工业支柱，在大量数据可用的地方为众多应用提供支持。Uber 将神经网络用于多种应用，建立基于计算机视觉模型的世界地图、使用自然语言理解实现更快的消费者反映、通过对骑手需求模式进行建模来缩短等待时间。

在许多情况下，最成功的神经网络采用大量参数，从几百万到几亿甚至更多 ，以实现最佳性能。更令人兴奋的是，这些庞大的网络通常运作得很好，无论他们的任务如何，都能有较好的表现。但是这样的模型基本上是复杂的系统，无需人工干预就可以学习大量的参数，因此易于理解。尽管如此，仍然需要进一步理解网络行为，因为随着网络对社会的影响越来越大，理解其运作变得越来越重要，更好地理解网络机制和属性将加速下一代模型的构建。

Uber 研究团队的这篇《测量目标空间的固有维度》已经在 ICLR 2018 上展示了，研究试图提出一种测量基本网络属性的简单方法，被称为“固有维度”。他们提出，将固有维度作为模型复杂度的量化方式，并与其原始参数量相分离。与此同时，提供了一种使用随机投影来测量此维度的简单方法，发现很多问题的固有维度都比人们想象得要小。通过使用固有维度来比较跨域问题，例如，解决倒立摆问题比 MNIST 分类数字要容易 100 倍，利用像素玩 Atari Pong（雅达利游戏） 和分类 CIFAR-10 一样难。

下面的视频总结了我们的方法和一些有趣的发现：

论文参考：https://eng.uber.com/intrinsic-dimension/