普林斯顿大学教授:用理论的力量横扫深度学习(77PPT)


新智元编译

来源:ICML'18 Tutorial

编译:金磊

【新智元导读】目前深度学习的应用较为广泛,尤其是各种开源库的使用,导致很多从业人员只注重应用的开发,却往往忽略了对理论的深究与理解。普林斯顿大学教授Sanjeev Arora近期公开的77页PPT,言简意赅、深入浅出的介绍了深度学习的理论——用理论的力量横扫深度学习!(文末附PPT下载地址)

深度学习历史

学习任何一门知识都应该先从其历史开始,把握了历史,也就抓住了现在与未来 。——BryanLJ

由图可以简单看出深度学习的发展历史,在经历了单调、不足与完善后,发展到了如今“动辄DL”的态势。

定义与基本概念

神经网络基本结构图:

定义:

θ:深度网络的参数

训练集:(x1, y1) ,(x2, y2) ,…,(xn, yn)

损失函数 ζ(θ,x,y):表示网络的输出与点x对应的y的匹配度

目标: argminθEi[ζ(θ,x1, y1)]

梯度下降:

结合GPUs、大型数据集,优化概念已经塑造了深度学习:

反向传播:用线性时间算法来计算梯度;

随机梯度下降:通过训练集的小样本评估

梯度、解空间推动形成了残差网络(resnet)、WaveNet及Batch-Normalization等;

理论的目标:通过整理定理,得出新的见解和概念。

深度学习中的优化

困难:深度学习中大多数优化问题是非凸(non-convex)的,最坏的情况是NP难问题(NP-hard)。

维数灾难:指在涉及到向量的计算的问题中,随着维数的增加,计算量呈指数倍增长的一种现象

深度学习“黑盒”分析

原因:

1、无法确定解空间;

2、没有明确的(xi, yi) 数学描述;

所以,求全局最优解是不可行的。

未知解空间中的控制梯度下降

≠0→∃下降方向,但如果二阶导数比较高,允许

波动很大。为了确保下降,采用由平滑程度

(可由高斯平滑 f来定义)决定的小步骤。

平滑:

要求:

→满足

且与

成正比。

非“黑盒”分析:

很多机器学习问题是深度为2的子案例,例如,输入层和输出层之间的一个隐含层。通常假设网络的结构、数据分布,等等。比起GD/SGD,可以使用不同算法,例如张量分解、最小化交替以及凸优化等等。

过度参数化(over-parametrization)和泛化(generalization)理论

教科书中说:大型模型会导致过拟合

很多人认为:SGD +正则化消除了网络的“过剩容量”(excess capacity),但是过剩容量依旧还是存在的,如下图所示:

事实上,在线性模型中也存在同样的问题。

泛化理论:

测试损失(Test Loss)-训练损失(Training Loss)≤

其中,N是“有效能力”。

“真实容量”(true capacity)的非空估计被证明是难以捉摸的:

“真实参数”(true parameters)的非空边界被证明是难以捉摸的:

深度网络噪声稳定性(可以视作深度网络的边缘概念):

噪声注入:为一个层的输出x添加高斯η 。

测量更高层次的变化,若变化是小的,那么网络就是噪声稳定的。

VGG19的噪声稳定性:

当高斯粒子经过更高层时的衰减过程

与泛化相关定性实验:

垫层(layer cushion)在正常数据上的训练要比在损坏数据上的训练高得多

在正常数据训练过程中的进化

“深度”的作用

深度的作用是什么?

理想的结果是:当遇到自然学习问题时,不能用深度d来完成,但可以用深度d+1来完成。但是目前,由于理论依据不足,缺乏“自然”学习问题的数学形式化,还无法达到理想的结果。

深度的增加对深度学习是有益还是有害的?

支持:会出现更好的表现(正如上面实验结果所示);

反对:使优化更加困难(梯度消失(vanishing gradient)、梯度爆炸(exploding gradient),除非像残差网络这样的特殊架构)。

生成模型与生成对抗网络(GAN)理论

无监督学习:“流行假设”(Mainfold Assumption):

学习概率密度p(X|Z)的典型模型

其中,X是图像,Z是流行上的编码。目的是使用大量未标签的数据集来学习图像→编码匹配(code mapping)。

深度生成模型(deep generative model)

隐含假设: Dreal是由合理大小的深度网络生成的。

生成对抗网络(GANs)

动机:

(1)标准对数似然函数值(log-likelihood)目标倾向于输出模糊图像。

(2)利用深度学习的力量(即鉴别器网络,discriminator net)来改进生成模型,而不是对数似然函数。

u:生成网络可训练参数

v:鉴别器网络可训练参数

鉴别器在训练后,真实输入为1,合成输入为0。

生成器训练来产生合成输出,使得鉴别器输出值较高。

GANs噩梦:模式崩溃(mode collapse)

因为鉴别器只能从少数样本中学习,所以它可能无法教会生成器产生足够大的多样性分布。

评估来自著名GANs的支持大小(support size)

CelaA:200k训练图像

DC-GAN:重复500个样本,500x500 =250K

BiGAN和所有支持大小,1000x1000 =1M

(结果与CIFAR10相似)

深度学习—自由文本嵌入

无监督学习文字嵌入经典流程

常用方法:复发性神经网络或LSTM等

手工业(cottage industry)的文本嵌入是线性的:

最简单的:构成词(constituent word)的词嵌入求和

加权求和:通过适应段落数据集来学习权重

性能(相似性、蕴涵任务):

较先进的句子嵌入方法与下游分类(downstream classification)任务的比较:

附:普林斯顿大学教授:深度学习理论理解(77页PPT)下载地址:

https://www.dropbox.com/s/qonozmne0x4x2r3/deepsurveyICML18final.pptx

原文发布于微信公众号 - 新智元(AI_era)

原文发表时间:2018-07-11

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏机器之心

学界 | 利用人脸图片准确识别年龄:上海大学研究者提出「深度回归森林」

33960
来自专栏AI科技评论

干货 | ImageNet冠军模型SE-Net详解

AI 科技评论按:本文首发于公众号 MomentaAI,已获授权转载。 论文链接: https://arxiv.org/abs/1709.01507 GitHu...

43050
来自专栏新智元

【干货指南】机器学习必须需要大量数据?小数据集也能有大价值!

深度学习往往需要大量数据,不然就会出现过度拟合,本文作者提出了一些在文本数据量不够大的时候可用的一些实用方法,从而赋予小数据集以价值。

16840
来自专栏专知

【干货】模仿人类的印象机制,商汤提出精确实时的视频目标检测方法

【导读】最近,针对视频目标检测中速度精度难以两全的问题,来自商汤科技(SenseTime)的学者发表论文提出一个新的概念——印象网络,其体现出了自然高效的特征聚...

45460
来自专栏目标检测和深度学习

【史上最有趣论文】物体检测经典模型YOLO新升级,就看一眼,速度提升 3 倍!

新智元编译 作者:Joseph Redmon、Ali Farhadi 翻译:肖琴 【新智元导读】你肯定很少见到这样的论文,全文像闲聊一样,不愧是YO...

385150
来自专栏专知

【干货】基于视频的行人再识别新进展:区域质量估计方法和高质量的数据集

【导读】近日,针对基于视频的行人再识别中局部噪声大、数据集质量低的问题,来自商汤科技(SenseTime)、香港中文大学和北京航空航天大学的学者发表论文提出基于...

37270
来自专栏AI科技大本营的专栏

苹果曝光无人车新进展,这名华人工程师是主要贡献者

苹果进军自动驾驶汽车的传闻由来已久,最新的传闻是苹果已经搁置了整车研发的计划,转而开发自动驾驶汽车的软件平台。最近,也有不少路人在苹果总部附近看到过苹果的雷克萨...

33660
来自专栏机器学习算法与Python学习

利用Python实现卷积神经网络的可视化

源 | 全球人工智能 文 | 小象 摘要: 本文简单说明了CNN模型可视化的重要性,以及介绍了一些可视化CNN网络模型的方法,希望对读者有所帮助,使其能够...

652130
来自专栏量化投资与机器学习

基于 RNN、LSTM 的股票多因子预测模型

前言 在机器学习如何应用到量化投资的系列文章中,今天我们专门来介绍一篇来自国信证券的研究报告,来从券商角度分析这个问题。 对于最直接的问题:能否利用神经网络,要...

1.6K70
来自专栏吉浦迅科技

不要蓝瘦香菇,传你几招深度学习性能提升的诀窍吧!

原文: How To Improve Deep Learning Performance 作者: Jason Brownlee 翻译: KK4SBB ...

37140

扫码关注云+社区

领取腾讯云代金券