视频 | 测量神经网络真的难吗?Uber说未必

一种测量基本网络属性的简单方法,被称为“固有维度”。

AI 科技评论按:本文由雷锋字幕组编译,原标题 Measuring the Intrinsic Dimension of Objective Landscapes,作者为 Uber AI Labs。

翻译 | 宥佑 余杭 整理 | 凡江

过去十年来,神经网络彻底改变了机器学习。机器学习从一个相对晦涩的学术研究领域崛起成为工业支柱,在大量数据可用的地方为众多应用提供支持。Uber 将神经网络用于多种应用,建立基于计算机视觉模型的世界地图、使用自然语言理解实现更快的消费者反映、通过对骑手需求模式进行建模来缩短等待时间。

在许多情况下,最成功的神经网络采用大量参数,从几百万到几亿甚至更多 ,以实现最佳性能。更令人兴奋的是,这些庞大的网络通常运作得很好,无论他们的任务如何,都能有较好的表现。但是这样的模型基本上是复杂的系统,无需人工干预就可以学习大量的参数,因此易于理解。尽管如此,仍然需要进一步理解网络行为,因为随着网络对社会的影响越来越大,理解其运作变得越来越重要,更好地理解网络机制和属性将加速下一代模型的构建。

Uber 研究团队的这篇《测量目标空间的固有维度》已经在 ICLR 2018 上展示了,研究试图提出一种测量基本网络属性的简单方法,被称为“固有维度”。他们提出,将固有维度作为模型复杂度的量化方式,并与其原始参数量相分离。与此同时,提供了一种使用随机投影来测量此维度的简单方法,发现很多问题的固有维度都比人们想象得要小。通过使用固有维度来比较跨域问题,例如,解决倒立摆问题比 MNIST 分类数字要容易 100 倍,利用像素玩 Atari Pong(雅达利游戏) 和分类 CIFAR-10 一样难。

下面的视频总结了我们的方法和一些有趣的发现:

视频内容

论文参考:https://eng.uber.com/intrinsic-dimension/

原文发布于微信公众号 - AI科技评论(aitechtalk)

原文发表时间:2018-05-14

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏简书专栏

深度学习图像方向学习线索

深度学习框架选择:tensorflow、pytorch 文章《TensorFlow和PyTorch谁更好》链接:https://mp.weixin.qq.co...

17030
来自专栏张俊红

时间序列数据(上)

总第92篇 01|时间序列定义: 时间序列是按照一定的时间间隔排列的一组数据,其时间间隔可以是任意的时间单位,如小时、日、周月等。比如,不同时间段某产品的用...

34140
来自专栏企鹅号快讯

Yann LeCun:深度学习已死,可微分编程万岁!

昨天,Yann LeCun在Facebook个人主页上写到:深度学习已死,可微分编程万岁!这让不少人大吃一惊,莫非我们一直坚信的深度学习技术是假的“炒作概念”?...

25990
来自专栏ATYUN订阅号

每个机器学习项目必须经过的五个阶段

机器学习和预测分析在我们今天的生活中非常普遍。它几乎可以影响我们所做的一切,包括零售和批发定价,消费者习惯和行为,市场营销,娱乐,医药,物流,游戏,AI语音识别...

40550
来自专栏机器之心

学界 | 面向星际争霸:DeepMind 提出多智能体强化学习新方法

361120
来自专栏CSDN技术头条

详解苏宁门店的人脸识别技术

一个成熟的人脸识别系统通常由人脸检测、人脸最优照片选取、人脸对齐、特征提取、特征比对几个模块组成。

61330
来自专栏AI研习社

测量神经网络真的难吗?Uber 说未必

过去十年来,神经网络彻底改变了机器学习。机器学习从一个相对晦涩的学术研究领域崛起成为工业支柱,在大量数据可用的地方为众多应用提供支持。Uber 将神经网络用于多...

12530
来自专栏AI科技评论

「超级 AI」的种子?复杂到人类难以评价的问题,可以教会一个 AI

AI 科技评论按:正如我们仍在自然语言处理的漫漫征途上摸索,AI 安全的课题也仍然没有得到系统的解决。作为前沿探索的积极分子,OpenAI 也不断提出新的思路,...

8630
来自专栏量子位

一文带你理解Q-Learning的搜索策略,掌握强化学习最常用算法

强化学习(Reinforcement Learning, RL)属于机器学习的一个分支,利用智能体(agent)通过状态感知、选择动作和接收奖励来与环境互动。每...

42140
来自专栏IT大咖说

搜狗深度学习技术在广告推荐领域的应用

编者按 近来,深度学习成为一个流行词。深度学习可以更好地通过增加数据集的规模来改善学习结果,与传统的机器学习工具相比,深度学习挖掘了神经网络的潜力。基于强大的特...

61170

扫码关注云+社区

领取腾讯云代金券