Deep Learning综述[下]

Image understanding with deep convolutional networks

直到2012年ImageNet大赛之前,卷积神经网络一直被主流机器视觉和机器学习社区所遗弃。2012年ImageNet大赛上卷积神经网络用来识别1000种分类的近100万张图片,错误率比之前大赛的最好成绩降低了近一半。

基于卷积神经网络视觉系统的表现引起了大多数技术公司的注意,包括Google、Facebook、Microsoft、IBM、Yahoo!、Twitter 和Adobe等。

许多公司包括NVIDIA、Mobileye、Intel、Qualcomm 和Samsung正在开发卷积神经网络芯片,支持在智能手机、数码相机、机器人和自动驾驶上的实时视觉应用。

Distributed representations and language processing

与不使用分布式特征表示的传统学习算法相比,深度学习理论表明深度网络有两个巨大的优势。这两个优势来源于它的组成、依赖于具有合理结构的底层数据的分布特征。

  1. 学习分布式特征表示能通过训练过程中学到特征重新组合形成新的特征;
  2. 深度网络中特征表示组成的网络层是另一个指数级的优势;

Recurrent neural networks

RNN(递归神经网络)适用于序列化输入,如语音和语言。

RNNs一次处理一个输入序列元素,同时维护网络中隐单元中的“状态向量”,这个向量隐式地包含过去时刻序列元素的历史信息

由于递归神经网络的架构和训练方法的特点,RNNs在预测文本中的下一个字符或序列中的下一个单词这两个方面具有很好的表现,当然RNNs也可以应用于更加复杂的任务中。

RNNs一旦展开,可以把它当做一个所有层共享权值的前馈神经网络。虽然它们的目的是学习长期的依赖性,但理论上和经验上的证据都证明很难学习并长期保存信息。

为了解决这个难题,自然而然地想到要增大网络的存储量。于是提出采用了特殊隐单元的LSTM,能长期保存输入。

The future of deep learning

无监督学习对于重新点燃深度学习的热潮起到了促进的作用。

有监督学习比无监督学习更加成功。

但是在人类和动物的学习中无监督学习占据主导地位:我们通过观察能够发现世界的内在结构,而不是被告知每一个客观事物的名称。

计算机视觉结合ConvNets和RNNs,采用增强学习来决定走向。

将来,深度学习将会对自然语言理解产生重大影响。我们预测那些利用了RNNs的系统将会更好地理解句子或者整个文档,当它们选择性地学习了某时刻部分加入的策略。

最终,在人工智能方面取得的重大进步将来自那些结合了复杂推理表示学习的系统。

无监督学习;计算机视觉;自然语言处理;

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏xingoo, 一个梦想做发明家的程序员

windows程序设计-第四章 system1.c

/*---------------------------------------------------- SYSMETS1.C -- System M...

22810
来自专栏互联网开发者交流社区

WinForm之窗体应用程序

1763
来自专栏谈补锅

记录C#常用的代码片段

using Newtonsoft.Json; using Newtonsoft.Json.Linq;

882
来自专栏闻道于事

商城项目整理(三)JDBC增删改查

商品表的增加,修改,删除,订单表的增加,确认,用户表的查看,日志表的增加,查看 商品表建表语句: 1 create table TEST.GOODS_TABL...

5415
来自专栏积累沉淀

Hive2.0.0操作HBase 1.2.1报错解决

首先看错  org.apache.hive.service.cli.HiveSQLException: Failed to open new session: ...

2319
来自专栏菩提树下的杨过

MSDN官方的ASP.Net异步页面的经典示例代码

示例1.演示异步获取一个网址的内容,处理后显示在OutPut这一Label上 using System; using System.Web; using S...

1955
来自专栏君赏技术博客

写了一个Swift版本的提示HUD 暂时没找到合适的可以用一下

灰常灰常感谢@地选之猿提出这篇文章代码已经不能使用。这个库是当时学 Swift 才写的已经属于 Swift2.0代码,现在已经修复完成。 因为之前的邮箱不能使...

623
来自专栏我和未来有约会

silverlight向服务器post数据类

using System; using System.Net; using System.Windows; using System.Windows.Co...

1955
来自专栏DT乱“码”

简单的考勤系统

连接数据库类 package com.lianrui.it; import java.sql.Connection; import java.sql.Driv...

3399
来自专栏跟着阿笨一起玩NET

winform treeView 数据绑定

922

扫码关注云+社区