人工智能-深度学习框架下的神经网络

枯木逢春：深度信念网络

深度信念网络的基本概念和基本原理，其要点如下：

• 深度信念网络是一种生成模型，能够建立输入和输出的联合概率分布；
• 受限玻尔兹曼机是构成深度信念网络的基本单元，是由可见层和隐藏层构成的神经网络；
• 受限玻尔兹曼机的训练方法是对比散度法，通过可见层和隐藏层的多轮交互实现；
• 深度神经网络的通用训练方式是无监督逐层预训练和有监督微调的结合。

image

见微知著：卷积神经网络

卷积神经网络的原理与机制，其要点如下：

• 卷积神经网络是应用了卷积运算的神经网络，适用于处理网格化数据；
• 卷积神经网络具有稀疏感知性、参数共享性和平移不变性；
• 卷积神经网络的结构包括交替出现的卷积层、激活层和池化层，以及作为输出的全连接层；
• 卷积神经网络的作用是逐层提取输入对象的特征。

image

昨日重现：循环神经网络

循环神经网络和递归神经网络的基本原理与简要的工作机制。其要点如下：

• 循环神经网络是具有记忆的神经网络，适用于处理序列化数据；
• 循环神经网络引入反馈结构，能够在时间上共享参数，从而具有记忆；
• 循环神经网络的扩展包括双向循环网络和深度循环网络；
• 递归神经网络能够处理具有层次化结构的数据，可以看成循环神经网络的推广。

image

左右互搏：生成式对抗网络

生成式对抗网络的原理与机制。其要点如下：

• 生成式对抗网络是一类运行在零和博弈框架下的无监督学习算法，由生成器和判别器构成；
• 生成器的目的是精确模拟真实数据的分布，判别器的目的是精确区分真实数据和生成数据；
• 生成式对抗网络的主要优点是超越了传统神经网络分类和特征提取的功能，能够按照真实数据的特点生成新的数据；
• 生成式对抗网络的主要问题是理论基础的缺失。

image

三重门：长短期记忆网络

长短期记忆网络的基本原理与简单工作机制。其要点如下：

• 长短期记忆网络可以实现任意长度的记忆，对信息进行长期而精确的跟踪；
• 长短期记忆单元的组成包括记忆模块、输入门、遗忘门和输出门；
• 长短期记忆网络根据当前的输入、当前的记忆和前一时刻的输出确定当前的输出；
• 长短期记忆网络能够解决梯度弥散的问题。

image

一图胜千言：概率图模型

概率图模型的原理，包括有向的贝叶斯网络和无向的马尔可夫随机场。其要点如下：

• 概率图模型是概率论与图论的结合，是用图论表现随机变量之间的条件依赖关系的建模方法；
• 贝叶斯网络是有向无环图，侧重于表示随机变量之间的依赖关系；
• 马尔可夫随机场是无向图，侧重于表示随机变量之间的相互作用；
• 概率图模型体现了“表示 - 推断 - 学习”的问题解决框架。

image

乌合之众的逆袭：集群智能

集群智能方法的现实依据，以及它所代表的研究方向。其要点如下：

• 集群智能是由众多简单个体通过自组织和去中心化的简单合作实现的智能；
• 集群智能具有可扩展性、并行性和容错性等特点；
• 集群智能体现出微观个体之间的相互作用能够实现整体大于部分之和的效果，其实例是蚁群算法；
• 集群智能在人工智能中的应用代表的是从宏观模仿到微观解构的方向转变。

image

一图胜千言：概率图模型

概率图模型的原理，包括有向的贝叶斯网络和无向的马尔可夫随机场。其要点如下：

• 概率图模型是概率论与图论的结合，是用图论表现随机变量之间的条件依赖关系的建模方法；
• 贝叶斯网络是有向无环图，侧重于表示随机变量之间的依赖关系；
• 马尔可夫随机场是无向图，侧重于表示随机变量之间的相互作用；
• 概率图模型体现了“表示 - 推断 - 学习”的问题解决框架。

image

授人以鱼不如授人以渔：迁移学习

迁移学习的基本原理和常用方法。其要点如下：

• 迁移学习是运用已学习的知识来求解不同但相关领域问题的新的机器学习方法，目的是让机器“学会学习”；
• 迁移学习适用于跨领域和小数据的学习任务；
• 迁移学习的任务类型可以分为归纳迁移学习，直推式迁移学习和无监督迁移学习；
• 迁移学习的学习方法包括基于样本、基于特征、基于模型和基于关系。

image

滴水藏海：知识图谱

知识图谱的基本原理与简单应用。其要点如下：

• 知识图谱是由大量的概念实体以及它们之间的关系构成的语义网络；
• 用知识图谱实现从特殊到一般的归纳推理，典型的方法是路径排序算法；
• 用知识图谱实现从一般到特殊的演绎推理，典型的方法是马尔可夫逻辑网和概率软逻辑；
• 用知识图谱实现数值推理，典型的方法是基于分布式知识表示的方法。