人工智能-深度学习框架下的神经网络

枯木逢春:深度信念网络


深度信念网络的基本概念和基本原理,其要点如下:

  • 深度信念网络是一种生成模型,能够建立输入和输出的联合概率分布;
  • 受限玻尔兹曼机是构成深度信念网络的基本单元,是由可见层和隐藏层构成的神经网络;
  • 受限玻尔兹曼机的训练方法是对比散度法,通过可见层和隐藏层的多轮交互实现;
  • 深度神经网络的通用训练方式是无监督逐层预训练和有监督微调的结合。

image

见微知著:卷积神经网络


卷积神经网络的原理与机制,其要点如下:

  • 卷积神经网络是应用了卷积运算的神经网络,适用于处理网格化数据;
  • 卷积神经网络具有稀疏感知性、参数共享性和平移不变性;
  • 卷积神经网络的结构包括交替出现的卷积层、激活层和池化层,以及作为输出的全连接层;
  • 卷积神经网络的作用是逐层提取输入对象的特征。

image

昨日重现:循环神经网络


循环神经网络和递归神经网络的基本原理与简要的工作机制。其要点如下:

  • 循环神经网络是具有记忆的神经网络,适用于处理序列化数据;
  • 循环神经网络引入反馈结构,能够在时间上共享参数,从而具有记忆;
  • 循环神经网络的扩展包括双向循环网络和深度循环网络;
  • 递归神经网络能够处理具有层次化结构的数据,可以看成循环神经网络的推广。

image

左右互搏:生成式对抗网络


生成式对抗网络的原理与机制。其要点如下:

  • 生成式对抗网络是一类运行在零和博弈框架下的无监督学习算法,由生成器和判别器构成;
  • 生成器的目的是精确模拟真实数据的分布,判别器的目的是精确区分真实数据和生成数据;
  • 生成式对抗网络的主要优点是超越了传统神经网络分类和特征提取的功能,能够按照真实数据的特点生成新的数据;
  • 生成式对抗网络的主要问题是理论基础的缺失。

image

三重门:长短期记忆网络


长短期记忆网络的基本原理与简单工作机制。其要点如下:

  • 长短期记忆网络可以实现任意长度的记忆,对信息进行长期而精确的跟踪;
  • 长短期记忆单元的组成包括记忆模块、输入门、遗忘门和输出门;
  • 长短期记忆网络根据当前的输入、当前的记忆和前一时刻的输出确定当前的输出;
  • 长短期记忆网络能够解决梯度弥散的问题。

image

一图胜千言:概率图模型


概率图模型的原理,包括有向的贝叶斯网络和无向的马尔可夫随机场。其要点如下:

  • 概率图模型是概率论与图论的结合,是用图论表现随机变量之间的条件依赖关系的建模方法;
  • 贝叶斯网络是有向无环图,侧重于表示随机变量之间的依赖关系;
  • 马尔可夫随机场是无向图,侧重于表示随机变量之间的相互作用;
  • 概率图模型体现了“表示 - 推断 - 学习”的问题解决框架。

image

乌合之众的逆袭:集群智能


集群智能方法的现实依据,以及它所代表的研究方向。其要点如下:

  • 集群智能是由众多简单个体通过自组织和去中心化的简单合作实现的智能;
  • 集群智能具有可扩展性、并行性和容错性等特点;
  • 集群智能体现出微观个体之间的相互作用能够实现整体大于部分之和的效果,其实例是蚁群算法;
  • 集群智能在人工智能中的应用代表的是从宏观模仿到微观解构的方向转变。

image

一图胜千言:概率图模型


概率图模型的原理,包括有向的贝叶斯网络和无向的马尔可夫随机场。其要点如下:

  • 概率图模型是概率论与图论的结合,是用图论表现随机变量之间的条件依赖关系的建模方法;
  • 贝叶斯网络是有向无环图,侧重于表示随机变量之间的依赖关系;
  • 马尔可夫随机场是无向图,侧重于表示随机变量之间的相互作用;
  • 概率图模型体现了“表示 - 推断 - 学习”的问题解决框架。

image

授人以鱼不如授人以渔:迁移学习


迁移学习的基本原理和常用方法。其要点如下:

  • 迁移学习是运用已学习的知识来求解不同但相关领域问题的新的机器学习方法,目的是让机器“学会学习”;
  • 迁移学习适用于跨领域和小数据的学习任务;
  • 迁移学习的任务类型可以分为归纳迁移学习,直推式迁移学习和无监督迁移学习;
  • 迁移学习的学习方法包括基于样本、基于特征、基于模型和基于关系。

image

滴水藏海:知识图谱


知识图谱的基本原理与简单应用。其要点如下:

  • 知识图谱是由大量的概念实体以及它们之间的关系构成的语义网络;
  • 用知识图谱实现从特殊到一般的归纳推理,典型的方法是路径排序算法;
  • 用知识图谱实现从一般到特殊的演绎推理,典型的方法是马尔可夫逻辑网和概率软逻辑;
  • 用知识图谱实现数值推理,典型的方法是基于分布式知识表示的方法。

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏新智元

普林斯顿大学教授:用理论的力量横扫深度学习(77PPT)

【新智元导读】目前深度学习的应用较为广泛,尤其是各种开源库的使用,导致很多从业人员只注重应用的开发,却往往忽略了对理论的深究与理解。普林斯顿大学教授Sanjee...

850
来自专栏人工智能LeadAI

GoogLeNet的心路历程(四)

今年年初的时候,Szegedy写了GoogLeNet的第三篇续作,如下: [v4] Inception-v4, Inception-ResNet and the...

3536
来自专栏数据派THU

一文读懂神经网络(附PPT、视频)

本文共6500字,建议阅读10分钟。 本文从神经网络的发展历史出发,为你介绍感知器模型、前馈神经网络及BP算法。 [导读] 提起神经网络,你会想到什么?关于深度...

4009
来自专栏小詹同学

你不得不了解的8种神经网络结构!

中长文预警!文末附赠大量资源!切勿错过! 机器学习已经在各个行业得到了大规模的广泛应用,并为提升业务流程的效率、提高生产率做出了极大的贡献。目前机器学习主要在以...

4246
来自专栏人工智能LeadAI

BAT机器学习面试1000题系列(第76~149题)

76、看你是搞视觉的,熟悉哪些CV框架,顺带聊聊CV最近五年的发展史如何?深度学习 DL应用 难 原英文:adeshpande3.github.io 作者:Ad...

5738
来自专栏AI科技大本营的专栏

与其撩妹尬舞,倒不如跟AI学跳舞

作者 | Caroline Chan、Shiry Ginosar、Tinghui Zhou 和 Alexei A. Efros

662
来自专栏新智元

谷歌新 AI 实验室主管 Hugo 深度学习教程:神经网络、CV、NLP 难点解析

【新智元导读】 11月22日,谷歌在蒙特利尔的现有办公室开设了一个全新的深度学习和人工智能研究小组。新团队将作为位于山景城的 Google Brain 团队的远...

3385
来自专栏大数据挖掘DT机器学习

CNN(卷积神经网络)、RNN(循环神经网络)、DNN(深度神经网络)概念区分理解

1、相关知识 从广义上来说,NN(或是更美的DNN)确实可以认为包含了CNN、RNN这些具体的变种形式。有很多人认为,它们并没有可比性,或是根本没必要放在一起比...

3718
来自专栏机器学习算法与Python学习

必须了解的8种神经网络架构

机器学习已经在各个行业得到了大规模的广泛应用,并为提升业务流程的效率、提高生产率做出了极大的贡献。目前机器学习主要在以下方面应用: 模式识别:实际场景中的目标...

3005
来自专栏喔家ArchiSelf

全栈必备 贝叶斯方法

对一个全栈老码农而言,经常在开发或者研发管理的时候遇到各种预测、决策、推断、分类、检测、排序等诸多问题。面对“你的代码还有bug么?”这样的挑战,一种理智的回答...

963

扫码关注云+社区