Andrew NG 在2016 NIPS 上tutorial 简单总结

Andrew NG 在2016 NIPS 上tutorial 简单总结

水平有限,如有错误,请不吝指正,谢谢! 视频地址youtube

神经网络已经出现很多年,为什么最近广泛应用起来

  1. 大数据
  2. 计算机能力的增强

DL分类

  1. 普通DL(全连接)
  2. 1-D序列模型(RNN,LSTM,GPU)
  3. 图像模型,2-D,3-D, CNN
  4. 其它类别:无监督学习,增强学习。

趋势

  • 模型规模不断增大
  • 端到端学习 (Rich output)
    • 现在大多数机器学习算法只是输出一个值,但深度学习可以干更复杂的事,输出富文本(image->caption, audio->transcript, english->frence, parameters->image)

端到端学习

端到端学习并不能解决所有事情。 拿语音识别举例: 传统方法: audio -> phonemes -> transcript 端到端:audio -> transcript

如果想让端到端学习工作的话,需要大量的标签数据。(X,Y)

另一个例子:通过手的X-ray图像判断小孩的年龄 传统方法:x-ray image -> bones lengths -> age 端到端: image -> age 应用端到端方法,碰到的问题是,没有足够的训练数据去训练一个好的网络。DL用的更多的地方是传统方法的:x-ray image -> bones lengths 这个过程。

?多少数据才够,数据不够的话,小心使用端到端学习

碰到问题时,应该怎么解决。(bias/variance)

Goal: 人类水平的语音识别系统

定义biasvariancebias : 训练集错误率 <–> 人类水平错误率 variance: dev-set错误率 <–> train-set错误率

human error

train-set error

dev-set error

test-set error

问题

1%

5%

6%

high bias

1%

2%

6%

high variance

1%

5%

10%

high bias, high variable

基本workflow:

Created with Raphaël 2.1.0StartTraining error is low?Dev error is low?DoneMore data, Regularization, New Model architecture.Bigger model,Train longer, new Model architecture.yesnoyesno

Bigger ModelMore Data 总是会得到好结果。

建议:unified data warehouse

问题:当前,用于训练的数据分布,和测试集数据分布很有可能属于不同分布 假设50000h的语音数据(但不是来自测试分布的数据),和10h的语音数据(来自于测试分布)。如何组织你的train, dev, test set? 第一种方案: 将50000h分为train, dev set,10h 作为测试数据(bad idea) 第二种方案:50000h作为train set,10h分为dev,test set。(devtest set应该服从同一分布) 第三种方案:50000h 分为 train-set, train-dev-set,10h分为 dev-set,test-set

重新定义bias variancebias : 训练集错误率 <–> 人类水平错误率 variance: train-dev-set错误率 <–> train-set错误率 train-test mismatchtrain-dev-set <—> dev-set overfitting of dev: dev-set <–> test-set

human-level

train-set

train-dev-set

dev-set

test-set

问题

1%

10%

10.1%

10.1%

10.2%

high bias

1%

2%

2.1%

10%

train-test mismatch

基本workflow:

Created with Raphaël 2.1.0StartTraining error is low?Train-Dev error is low?Dev error is low?Test error is low?DoneGet more dev data.More data similar to test, Data Synthesis/Augmentation, New Architecture.More data, Regularization, New Model architecture.Bigger model,Train longer, new Model architecture.yesnoyesnoyesnoyesno

提高模型准确率

如何定义human level error:专家团错误率。

  • 当模型准确率低于人类水平时
    • 从人类获得更多的数据
    • 错误分析(看哪些样本分错了)
    • 评估 bias/variance 影响。

AL/DL 可以干什么?

1) 人类在一秒中可以干的事情,深度学习可以做(给数据打标签)。 2) 预测序列时间的下一个输出。 3) 人工智能应该干人类无法干的事(马云)

如何学习机器学习

  • ML course
  • DL schoole
  • Phd student process
    • read papers
    • replicate results
  • dirty work
    • downloading data, clean data
    • downloading piece of data, tuning the parameters and see what happend

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏腾讯高校合作

NIPS2018 | 腾讯AI Lab入选20篇论文,含2篇Spotlight

被誉为神经计算和机器学习领域两大顶级会议之一的NIPS于近日揭晓收录论文名单,此次为第32届会议, 12 月 3 日至 8 日在加拿大蒙特利尔举办。 腾讯AI...

571
来自专栏数据科学与人工智能

【陆勤学习】文本特征提取方法研究

一、课题背景概述 文本挖掘是一门交叉性学科,涉及数据挖掘、机器学习、模式识别、人工智能、统计学、计算机语言学、计算机网络技术、信息学等多个领域。文本挖掘就是从大...

2559
来自专栏量子位

GAN发展历程综述:送你最易入手的几个架构 | 附资料包

颜萌 林鳞 编译自 Sigmoidal 量子位 出品 | 公众号 QbitAI 怎样教机器画一张从未见过的人脸呢?我们知道计算机可以存储大量照片,但它并不知道像...

3136
来自专栏CVer

[计算机视觉论文速递] 2018-07-10 CVPR GAN专场1

这篇文章有 2篇论文速递,都是生成对抗网络GAN方向(CVPR 2018),一篇解决为前景目标找到逼真的几何校正的问题,使得它在合成到背景图像中时看起来很自然,...

1313
来自专栏AI科技评论

学界 | 腾讯AI Lab 20篇论文入选NIPS2018,含2篇Spotlight

被誉为神经计算和机器学习领域两大顶级会议之一的NIPS于近日揭晓收录论文名单,此次为第32届会议,将于 12 月 3 日至 8 日在加拿大蒙特利尔举办。

872
来自专栏机器之心

学界 | 从文本挖掘综述分类、聚类和信息提取等算法

选自arXiv 机器之心编译 参与:机器之心编辑部 文本挖掘一直是十分重要的信息处理领域,因为不论是推荐系统、搜索系统还是其它广泛性应用,我们都需要借助文本挖掘...

3985
来自专栏专知

115页Slides带你领略深度生成模型(Deep Generative Model)全貌

【导读】当地时间 7 月 13 - 19 日,备受关注的 AI 顶级国际会议 IJCAI 在瑞典斯德哥尔摩举行。在这次会议上,人工智能和机器学习领域的研究者为我...

1490
来自专栏机器之心

学界 | 结合主动学习与迁移学习:让医学图像标注工作量减少一半

3616
来自专栏新智元

【干货】深度人脸识别的 Caffe 实现(附模型开源地址及论文下载)

【新智元导读】本论文对人脸识别和验证任务提出一种新的损失函数,即中心损失。中心损失和softmax损失联合监督学习的CNN,其对深层学习特征的人脸识别能力大大提...

51510
来自专栏算法channel

深度学习|对隐含层的感性认识

《实例》阐述算法,通俗易懂,助您对算法的理解达到一个新高度。包含但不限于:经典算法,机器学习,深度学习,LeetCode 题解,Kaggle 实战。期待您的到来...

3616

扫码关注云+社区