Deep Learning综述[下]

Image understanding with deep convolutional networks

直到2012年ImageNet大赛之前,卷积神经网络一直被主流机器视觉和机器学习社区所遗弃。2012年ImageNet大赛上卷积神经网络用来识别1000种分类的近100万张图片,错误率比之前大赛的最好成绩降低了近一半。

基于卷积神经网络视觉系统的表现引起了大多数技术公司的注意,包括Google、Facebook、Microsoft、IBM、Yahoo!、Twitter 和Adobe等。

许多公司包括NVIDIA、Mobileye、Intel、Qualcomm 和Samsung正在开发卷积神经网络芯片,支持在智能手机、数码相机、机器人和自动驾驶上的实时视觉应用。

Distributed representations and language processing

与不使用分布式特征表示的传统学习算法相比,深度学习理论表明深度网络有两个巨大的优势。这两个优势来源于它的组成、依赖于具有合理结构的底层数据的分布特征。

  1. 学习分布式特征表示能通过训练过程中学到特征重新组合形成新的特征;
  2. 深度网络中特征表示组成的网络层是另一个指数级的优势;

Recurrent neural networks

RNN(递归神经网络)适用于序列化输入,如语音和语言。

RNNs一次处理一个输入序列元素,同时维护网络中隐单元中的“状态向量”,这个向量隐式地包含过去时刻序列元素的历史信息

由于递归神经网络的架构和训练方法的特点,RNNs在预测文本中的下一个字符或序列中的下一个单词这两个方面具有很好的表现,当然RNNs也可以应用于更加复杂的任务中。

RNNs一旦展开,可以把它当做一个所有层共享权值的前馈神经网络。虽然它们的目的是学习长期的依赖性,但理论上和经验上的证据都证明很难学习并长期保存信息。

为了解决这个难题,自然而然地想到要增大网络的存储量。于是提出采用了特殊隐单元的LSTM,能长期保存输入。

The future of deep learning

无监督学习对于重新点燃深度学习的热潮起到了促进的作用。

有监督学习比无监督学习更加成功。

但是在人类和动物的学习中无监督学习占据主导地位:我们通过观察能够发现世界的内在结构,而不是被告知每一个客观事物的名称。

计算机视觉结合ConvNets和RNNs,采用增强学习来决定走向。

将来,深度学习将会对自然语言理解产生重大影响。我们预测那些利用了RNNs的系统将会更好地理解句子或者整个文档,当它们选择性地学习了某时刻部分加入的策略。

最终,在人工智能方面取得的重大进步将来自那些结合了复杂推理表示学习的系统。

无监督学习;计算机视觉;自然语言处理;

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏数据派THU

送你一份不正经的深度学习简述(附论文)

1714
来自专栏机器之心

关系推理水平超越人类:DeepMind展示全新神经网络推理预测技术

选自DeepMind 作者:Adam Santoro等 机器之心编译 参与:机器之心编辑部 想象一下在阿加莎·克里斯蒂(《东方快车谋杀案》作者)的侦探小说里收...

2606
来自专栏AI科技大本营的专栏

与其撩妹尬舞,倒不如跟AI学跳舞

作者 | Caroline Chan、Shiry Ginosar、Tinghui Zhou 和 Alexei A. Efros

662
来自专栏PPV课数据科学社区

这是一份「不正经」的深度学习简述

作为人工智能领域里最热门的概念,深度学习会在未来对我们的生活产生显著的影响,或许现在已经是了,从 AlphaGo 到 iPhone X 上的人脸识别(FaceI...

2965
来自专栏AI科技评论

学界 | AAAI 18论文解读:基于强化学习的时间行为检测自适应模型

AI 科技评论按:互联网上以视频形式呈现的内容在日益增多,对视频内容进行高效及时的审核也变得越来越迫切。因此,视频中的行为检测技术也是当下热点研究任务之一。本文...

3066
来自专栏新智元

Facebook AI实验室最新论文:图像检测的无监督学习(下载)

新智元导读】Facebook最近在美国的日子不算好过。据英国《卫报》报道,Facebook平台上广受欢迎的新闻推送功能实际上严重依赖于编辑团队来决定新闻内容的取...

3748
来自专栏AI科技评论

学界 | 伯克利 AI 实验室博客发布首篇文章:让神经网络自行选择模块,实现动态推理

深度神经网络虽然在图像,语音,机器人等方面取得了巨大的成功,但是这些成功通常局限在识别任务或者生成任务中,对于推理任务,常规的神经网络通常是无能为力的。伯克利A...

3159
来自专栏人工智能

深度学习领域四个不可不知的重大突破

作者|Seth Weidman 译者|大愚若智 编辑|Emily 为何阅读本文? 无论该领域中的从业者,或是企业组织,为了运用深度学习技术,首先需要做好两个准备...

1969
来自专栏AI2ML人工智能to机器学习

易图秒懂の深度学习诞生 发展篇

在”易图秒懂の深度学习诞生 发展篇“里面, 我们谈到Bengio把梯度下降的问题引到Hinton所在的圈子里。 并且自己做了一个能够通过Pretraining来...

1244
来自专栏新智元

Facebook全新无监督机器翻译法,BLUE测试提升超过10分!

作者:Marc’aurelio Ranzato、Guillaume Lample、Myle Ott

702

扫码关注云+社区