人工智能-深度学习框架下的神经网络

枯木逢春:深度信念网络


深度信念网络的基本概念和基本原理,其要点如下:

  • 深度信念网络是一种生成模型,能够建立输入和输出的联合概率分布;
  • 受限玻尔兹曼机是构成深度信念网络的基本单元,是由可见层和隐藏层构成的神经网络;
  • 受限玻尔兹曼机的训练方法是对比散度法,通过可见层和隐藏层的多轮交互实现;
  • 深度神经网络的通用训练方式是无监督逐层预训练和有监督微调的结合。

image

见微知著:卷积神经网络


卷积神经网络的原理与机制,其要点如下:

  • 卷积神经网络是应用了卷积运算的神经网络,适用于处理网格化数据;
  • 卷积神经网络具有稀疏感知性、参数共享性和平移不变性;
  • 卷积神经网络的结构包括交替出现的卷积层、激活层和池化层,以及作为输出的全连接层;
  • 卷积神经网络的作用是逐层提取输入对象的特征。

image

昨日重现:循环神经网络


循环神经网络和递归神经网络的基本原理与简要的工作机制。其要点如下:

  • 循环神经网络是具有记忆的神经网络,适用于处理序列化数据;
  • 循环神经网络引入反馈结构,能够在时间上共享参数,从而具有记忆;
  • 循环神经网络的扩展包括双向循环网络和深度循环网络;
  • 递归神经网络能够处理具有层次化结构的数据,可以看成循环神经网络的推广。

image

左右互搏:生成式对抗网络


生成式对抗网络的原理与机制。其要点如下:

  • 生成式对抗网络是一类运行在零和博弈框架下的无监督学习算法,由生成器和判别器构成;
  • 生成器的目的是精确模拟真实数据的分布,判别器的目的是精确区分真实数据和生成数据;
  • 生成式对抗网络的主要优点是超越了传统神经网络分类和特征提取的功能,能够按照真实数据的特点生成新的数据;
  • 生成式对抗网络的主要问题是理论基础的缺失。

image

三重门:长短期记忆网络


长短期记忆网络的基本原理与简单工作机制。其要点如下:

  • 长短期记忆网络可以实现任意长度的记忆,对信息进行长期而精确的跟踪;
  • 长短期记忆单元的组成包括记忆模块、输入门、遗忘门和输出门;
  • 长短期记忆网络根据当前的输入、当前的记忆和前一时刻的输出确定当前的输出;
  • 长短期记忆网络能够解决梯度弥散的问题。

image

一图胜千言:概率图模型


概率图模型的原理,包括有向的贝叶斯网络和无向的马尔可夫随机场。其要点如下:

  • 概率图模型是概率论与图论的结合,是用图论表现随机变量之间的条件依赖关系的建模方法;
  • 贝叶斯网络是有向无环图,侧重于表示随机变量之间的依赖关系;
  • 马尔可夫随机场是无向图,侧重于表示随机变量之间的相互作用;
  • 概率图模型体现了“表示 - 推断 - 学习”的问题解决框架。

image

乌合之众的逆袭:集群智能


集群智能方法的现实依据,以及它所代表的研究方向。其要点如下:

  • 集群智能是由众多简单个体通过自组织和去中心化的简单合作实现的智能;
  • 集群智能具有可扩展性、并行性和容错性等特点;
  • 集群智能体现出微观个体之间的相互作用能够实现整体大于部分之和的效果,其实例是蚁群算法;
  • 集群智能在人工智能中的应用代表的是从宏观模仿到微观解构的方向转变。

image

一图胜千言:概率图模型


概率图模型的原理,包括有向的贝叶斯网络和无向的马尔可夫随机场。其要点如下:

  • 概率图模型是概率论与图论的结合,是用图论表现随机变量之间的条件依赖关系的建模方法;
  • 贝叶斯网络是有向无环图,侧重于表示随机变量之间的依赖关系;
  • 马尔可夫随机场是无向图,侧重于表示随机变量之间的相互作用;
  • 概率图模型体现了“表示 - 推断 - 学习”的问题解决框架。

image

授人以鱼不如授人以渔:迁移学习


迁移学习的基本原理和常用方法。其要点如下:

  • 迁移学习是运用已学习的知识来求解不同但相关领域问题的新的机器学习方法,目的是让机器“学会学习”;
  • 迁移学习适用于跨领域和小数据的学习任务;
  • 迁移学习的任务类型可以分为归纳迁移学习,直推式迁移学习和无监督迁移学习;
  • 迁移学习的学习方法包括基于样本、基于特征、基于模型和基于关系。

image

滴水藏海:知识图谱


知识图谱的基本原理与简单应用。其要点如下:

  • 知识图谱是由大量的概念实体以及它们之间的关系构成的语义网络;
  • 用知识图谱实现从特殊到一般的归纳推理,典型的方法是路径排序算法;
  • 用知识图谱实现从一般到特殊的演绎推理,典型的方法是马尔可夫逻辑网和概率软逻辑;
  • 用知识图谱实现数值推理,典型的方法是基于分布式知识表示的方法。

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏鸿的学习笔记

神经网络结构(上)

深度神经网络和深度学习是很强大和流行的算法。他们的成功很大程度上在于神经网络架构的精心设计。所以我想重温过去几年深度学习的神经网络设计的历史。

752
来自专栏AI研习社

各种机器学习的应用场景分别是什么?

关于这个问题我今天正好看到了这个文章(http://t.cn/RJrTSLV)。讲的正是各个算法的优劣分析,很中肯。 正好14年的时候有人做过一个实验[1],比...

63710
来自专栏AI科技大本营的专栏

苹果曝光无人车新进展,这名华人工程师是主要贡献者

苹果进军自动驾驶汽车的传闻由来已久,最新的传闻是苹果已经搁置了整车研发的计划,转而开发自动驾驶汽车的软件平台。最近,也有不少路人在苹果总部附近看到过苹果的雷克萨...

3126
来自专栏大数据挖掘DT机器学习

sklearn集成学习:如何调参?

---- Random Forest和Gradient Tree Boosting参数详解 2 如何调参?   2.1 调参的目标:偏差和方差的协调   2...

3817
来自专栏新智元

【Hinton实验室探访】Capsule后最新研究,用软决策树更好理解DNN分类

来源:NYT,arXiv 编译:闻菲、刘小芹 【新智元导读】《纽约时报》今日发文,记者走访Hinton在多伦多的实验室,为我们带来Hinton新作“Capsul...

2355
来自专栏数据派THU

循序渐进提升Kaggle竞赛模型精确度,以美国好事达保险公司理赔为例

作者:Werner Chao 翻译:白静 术语校对:黄凯波 本文长度为2800字,建议阅读8分钟 线上心理健康公司KaJin Health首席数据分析师教你怎么...

3636
来自专栏机器人网

自动驾驶技术中的机器学习算法有哪些?

如今,机器学习算法正大规模地用于解决自动驾驶汽车产业日益增多的问题。结合 ECU (电子控制单元)传感器数据,我们须加强对机器学习方法的利用以迎接新的挑战。潜在...

762
来自专栏阅读笔记

CVRP 2017|DLP-CNN & center loss & Island loss

面部表情识别很大程度上依赖于定义好的数据集,然而这样的数据集往往存在着很多的限制。现有的面部表情数据集往往在严格控制的实验条件下,受试者和测试环境均不具有多样性...

870
来自专栏磐创AI技术团队的专栏

数据挖掘和机器学习的面试问题

【磐创AI导读】:本文主要分享了机器学习需要注意的几个面试问题。想要学习更多的机器学习知识,欢迎大家点击上方蓝字关注我们的公众号:磐创AI。

893
来自专栏华章科技

「知识图谱」领域近期值得读的 6 篇顶会论文

论文 | Hike: A Hybrid Human-Machine Method for Entity Alignmentin Large-Scale Know...

821

扫码关注云+社区