深度学习的五种分类

卡洛斯佩雷斯为深度学习为基础的AI给出了自己的分类。这个分类让我们知道我们目前在哪里,我们可能走向哪里。

By Carlos Perez, Intuition Machine.

Arend Hintze有一篇关于“Understandingthe four types of AI, from reactive robots to self-aware beings”的好文章,他概述了以下类型的AI:

反应机 - 最基本的类型,无法形成记忆和使用过去的经验来决策。它们不能在其设计的特定任务之外运行。

有限记忆 - 能够研究过去,以反应当前的决策。然而,记忆是暂时的,不能使用未来的经验。

心理理论 - 这些系统能够形成世界的表示以及与其交互的其他反应。

自我意识 - 这里主要是speculative描述。

我喜欢这个分类,这比“狭义上的AI”和“一般意义上的AI”二分法更好。这个分类试图将狭义上的AI分成3类。这给了我们更多的概念来区分不同的AI实现。我的定义是,他们似乎来自于GOFAI。此外,从有限记忆能够使用过去经验到心理理论的飞跃似乎是一个非常巨大的飞跃。

然而,我想借此机会提出我自己的分类,这会更加针对深度学习领域。我希望我的分类更具体和有用。这个分类让我们知道我们目前在哪里,我们可能会在哪里。

目前我们没有好的AI概念框架,以准确评估当前的情况。这可能是因为许多作家无法跟上深度学习研究的最新发展。有太多的阅读要跟上,最新的发现正在继续改变我们目前的理解。在这里我引入深度学习能力的实用分类:

1. Classification Only (C)

这个级别包括全连接神经网络(FCN)和卷积网络(CNN)以及它们的各种组合。这些系统采用高维向量作为输入并且获得单个结果,这通常是输入向量的分类。您可以将这些系统视为无状态函数,这意味着它们的行为仅仅是当前输入的函数。生成模型目前是热门研究的领域之一。简言之,这些系统本身是相当有能力的。

2. Classification with Memory (CM)

该级别包括与C级网络合并的存储器元件。 LSTM是代表,其中存储器单元被嵌入在LSTM节点内。这些的其他变体是来自DeepMind的神经图灵机(NMT)和可微分神经计算机(DNC)。这些系统在计算其行为时保持状态。

3. Classification with Knowledge (CK)

这个级别有点类似于CM级别,然而,这不是原始存储器,C级网络能够访问的信息是符号知识库。实际上,我发现了三种符号集成,一种转移学习方法,一种自上而下的方法,一种自下而上的方法。第一种方法使用作为正则化器的符号系统。第二种方法在层次结构的顶部具有在底部由神经表示构成的符号元素。最后一种方法已经逆转了,其中C级网络实际上附加到符号知识库。

4. Classification with Imperfect Knowledge (CIK)

在这个层面上,我们有一个建立在CK之上的系统,但是能够以不完全信息进行推理。这种系统的一个例子是AlphaGo和Poker系统。然而,AlphaGo是CK而是CM水平能力。像AlphaGo一样,这些系统可以通过对自身运行模拟来训练自己。

5. Collaborative Classification with Imperfect Knowledge (CCIK)

这个级别非常类似于“心理理论”,其中我们实际上具有多个神经网络组合以解决问题。这些系统旨在解决多个目标。我们实际上在对抗网络中有了这个原始版本,学习执行泛化与竞争的鉴别器和生成网络将这个概念进一步扩展到游戏理论驱动的网络,能够执行战略和战术解决多个目标。我们还不是这个级别的,还有很多研究要做在以前的水平。不同的级别带来了前一级别中不存在的功能。例如C级系统仅能够预测反因果关系。 CM水平系统能够非常好的翻译。 CIK级别系统能够进行战略游戏。

原文发布于微信公众号 - 鸿的学习笔记(shujuxuexizhilu)

原文发表时间:2017-01-03

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏PPV课数据科学社区

【技能】Python爬虫和情感分析简介

这篇短文的目的是分享我这几天里从头开始学习Python爬虫技术的经验,并展示对爬取的文本进行情感分析(文本分类)的一些挖掘结果。 不同于其他专注爬虫技术的介绍,...

3614
来自专栏腾讯高校合作

盘点2016-2017 EDA及芯片领域的神经网络热点论文

我们结合2017年的 FPGA 和 ISSCC 会议上的代表性工作,给出了神经网络的一些新热点和研究趋势。

42315
来自专栏AI研习社

意想不到的盟友:改善隐私问题可以带来表现更好的机器学习模型

AI 研习社按:Nicolas Papernot 在 2017、2018 连续两年的 ICLR 上都发表了关于差分隐私方法 PATE 的论文。如今大家都意识到了...

1513
来自专栏数据科学与人工智能

【数据挖掘】用文本挖掘和机器学习洞悉数据

文本挖掘是对包含于自然语言文本中数据的分析。它可以帮组一个组织从基于文本的内容中获得潜在的有价值的业务洞察力,比如Word文档,邮件和社交媒体流中发布的帖子,如...

24610
来自专栏云时之间

如何加速我们的神经网络?

各位老哥们大家好,双击喜欢666。今天我们来聊一聊本萌新最新学习的一些知识。让我们一起来想一下怎么样来加速我们的神经网络的训练过程。 通常我们知道,越复杂的神...

4146
来自专栏CreateAMind

结构知识的泛化-从海马体学习的模型

3686
来自专栏新智元

【干货】如何评价谷歌深度学习速成课程

1743
来自专栏企鹅号快讯

简单有效的多标准中文分词

-欢迎 加入AI技术专家社群>> 本文介绍一种简洁优雅的多标准中文分词方案,可联合多个不同标准的语料库训练单个模型,同时输出多标准的分词结果。通过不同语料库之间...

2817
来自专栏美团技术团队

强化学习在美团“猜你喜欢”的实践

“猜你喜欢”是美团流量最大的推荐展位,位于首页最下方,产品形态为信息流,承担了帮助用户完成意图转化、发现兴趣、并向美团点评各个业务方导流的责任。经过多年迭代,目...

3164
来自专栏AI科技评论

干货 | 意想不到的盟友:改善隐私问题可以带来表现更好的机器学习模型

AI 科技评论按:Nicolas Papernot 在 2017、2018 连续两年的 ICLR 上都发表了关于差分隐私方法 PATE 的论文。如今大家都意识到...

1283

扫码关注云+社区

领取腾讯云代金券