Deep Learning综述[下]

Image understanding with deep convolutional networks

直到2012年ImageNet大赛之前,卷积神经网络一直被主流机器视觉和机器学习社区所遗弃。2012年ImageNet大赛上卷积神经网络用来识别1000种分类的近100万张图片,错误率比之前大赛的最好成绩降低了近一半。

基于卷积神经网络视觉系统的表现引起了大多数技术公司的注意,包括Google、Facebook、Microsoft、IBM、Yahoo!、Twitter 和Adobe等。

许多公司包括NVIDIA、Mobileye、Intel、Qualcomm 和Samsung正在开发卷积神经网络芯片,支持在智能手机、数码相机、机器人和自动驾驶上的实时视觉应用。

Distributed representations and language processing

与不使用分布式特征表示的传统学习算法相比,深度学习理论表明深度网络有两个巨大的优势。这两个优势来源于它的组成、依赖于具有合理结构的底层数据的分布特征。

  1. 学习分布式特征表示能通过训练过程中学到特征重新组合形成新的特征;
  2. 深度网络中特征表示组成的网络层是另一个指数级的优势;

Recurrent neural networks

RNN(递归神经网络)适用于序列化输入,如语音和语言。

RNNs一次处理一个输入序列元素,同时维护网络中隐单元中的“状态向量”,这个向量隐式地包含过去时刻序列元素的历史信息

由于递归神经网络的架构和训练方法的特点,RNNs在预测文本中的下一个字符或序列中的下一个单词这两个方面具有很好的表现,当然RNNs也可以应用于更加复杂的任务中。

RNNs一旦展开,可以把它当做一个所有层共享权值的前馈神经网络。虽然它们的目的是学习长期的依赖性,但理论上和经验上的证据都证明很难学习并长期保存信息。

为了解决这个难题,自然而然地想到要增大网络的存储量。于是提出采用了特殊隐单元的LSTM,能长期保存输入。

The future of deep learning

无监督学习对于重新点燃深度学习的热潮起到了促进的作用。

有监督学习比无监督学习更加成功。

但是在人类和动物的学习中无监督学习占据主导地位:我们通过观察能够发现世界的内在结构,而不是被告知每一个客观事物的名称。

计算机视觉结合ConvNets和RNNs,采用增强学习来决定走向。

将来,深度学习将会对自然语言理解产生重大影响。我们预测那些利用了RNNs的系统将会更好地理解句子或者整个文档,当它们选择性地学习了某时刻部分加入的策略。

最终,在人工智能方面取得的重大进步将来自那些结合了复杂推理表示学习的系统。

无监督学习;计算机视觉;自然语言处理;

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏机器之心

ICLR 2018 | 清华&斯坦福提出深度梯度压缩DGC,大幅降低分布式训练网络带宽需求

选自arXiv 作者:林宇鋆、韩松等 机器之心编译 参与:刘晓坤 来自清华大学和斯坦福大学的研究者们发现,分布式随机梯度下降训练中 99.9% 的梯度交换都是冗...

3238
来自专栏AI研习社

CVPR 2018摘要:第四部分

我们已经分三期关于CVPR 2018(计算机视觉和模式识别)会议:第一部分专门讨论计算机视觉的GAN,第二部分涉及关于识别人类(姿势估计和跟踪)的论文,第三部分...

602
来自专栏大数据文摘

学界 | NLP年度盛宴EMNLP/CoNLL 2018最精彩论文精选(摘要+评论)

每年,全球最顶尖的NLP研究者们会在这两个大会上展示最前沿的NLP科研成果。然而,动辄上千篇的论文却令很多关注NLP领域最新动态的小伙伴望而却步。

1132
来自专栏xingoo, 一个梦想做发明家的程序员

2017CS231n学习笔记——计算机视觉的概述

这门课程是由stanford大学计算机视觉李飞飞以及她的学生制作的,也叫做CS231n,是偏专业性的深度学习+计算机视觉课程。

2522
来自专栏人人都是极客

MobileNetV2:下一代边缘计算视觉网络

随着在移动设备上运行深度网络可以提升用户体验,而且允许随时随地可以访问,并且在安全性、隐私和能耗方面相对云端计算具有优势,边缘计算的需求越来越大。

871
来自专栏深度学习自然语言处理

学界 | NLP年度盛宴EMNLP/CoNLL 2018最精彩论文精选(摘要+评论)

每年,全球最顶尖的NLP研究者们会在这两个大会上展示最前沿的NLP科研成果。然而,动辄上千篇的论文却令很多关注NLP领域最新动态的小伙伴望而却步。

1202
来自专栏新智元

线性模型可解释一定比DNN高?UCSD科学家:大错特错!

【新智元导读】人们对深度学习模型的真正运行机制还远远没有完全了解,如何提高预测模型的“可解释性”成了一个日益重要的话题。近来的一篇论文讨论了机器学习模型的“可解...

502
来自专栏AI科技评论

学界 | 模型可解释性差?你考虑了各种不确定性了吗?

雷锋网 AI 科技评论按:本文作者是来自 Taboola 的数据科学家 Inbar Naor,她的研究领域是探索深度学习在推荐系统中的应用,在本文作者介绍了数据...

771
来自专栏机器之心

NLP领域的ImageNet时代到来:词嵌入「已死」,语言模型当立

长期以来,词向量一直是自然语言处理的核心表征技术。然而,其统治地位正在被一系列令人振奋的新挑战所动摇,如:ELMo、ULMFiT 及 OpenAI transf...

1963
来自专栏大数据挖掘DT机器学习

如何透彻的掌握一门机器学习算法

机器学习算法都是一个个复杂的体系,需要通过研究来理解。学习算法的静态描述是一个好的开始,但是这并不足以使我们理解算法的行为,我们需要在动态中来理解算法。 机器学...

3865

扫码关注云+社区