小白不知从何入手认知机器学习?Shakir Mohamed 授你锦囊妙计

导读:如何让机器学习从环境中自主学习和思考是科学家们正努力探索的目标。本文的一些想法说不定可以为研究带来一丝灵感。

注:本文译自 The Spectator,作者为 Shakir Mohamed 。文中所有观点均为原作者提出,不代表本网站和本人观点。Shakir Mohamed 是研究统计机器学习方面的科学家。主攻贝叶斯推理,变分推理,深度学习,强化学习。

认知机器学习

机器学习中最不缺的东西就是灵感来源。至少对我来说是这样的,它使机器学习变成了有价值且令人兴奋的领域。我们从统计学方面传统的相邻领域获取灵感,如信号处理、控制工程、信息理论,和统计物理。我们的运气一直都很好,且我们可以从很多其它科学领域获得更多的灵感,如生物和进化系统,以及对其来说重要的东西,认知社会学、心理学和神经科学。

我以前探索机器学习的重要灵感来源是神经科学、解密预测所扮演的角色、稀疏性,以及搭建学习系统时的模块化和互补学习。除了学习系统外,也有其他技能可以在更高层次的对其进行更好地理解,从认知科学的角度进行研究。

在该系列中我想探索的主题有四个,且我认为是其中最重要的探索是:

1.因果推理。我们怎样才可以建立能从因果和影响中学习,并检测因果关系的机器学习系统。人类在这方面的能力非常强,我们将探讨认知系统中因果感应,反事实推理和因果学习的方方面面。在机器学习中我们可以将其联想为影响图中的推理,和有向非循环图中的推理。

2.科学家一样的代理。对于人类来说,我们在不断探索和学习周围的事物。我们产生假设,验证它,并从中学习。赋予机器学习这样的侦查能力,它将引领我们检验溯因推理,主动学习,贝叶斯优化,和 Bandits 。

3.认知语义。人类是如何学习意义并建立知识、对象和关系的概念。我们可以将理解从认知科学结合到统计学关系 AI,更为广泛的关系学习、模块和社区发现。

4.形成思想的理论。人类身处社会,并从中学习和获取知识。我们的认知工具包括归因论、意向代理论和理论论。我们可以将其与经济学,博弈论和多智能体系统中广泛的思维结合起来。

该系列大体框架的描述

为了更好地描述认知的概念,以及它们与机器学习之间的关系,我将把讨论分成两部分。第一部分将处理认知科学,并提供以下描述:

→ 认知观察。首先,显而易见的是我们会观察众多认知任务中的一个,并从人生经验和观察到的东西找到证据。

→ 认知灵感。我们将精炼认知的证据以形成认知原则,这也将是研究机器学习系统的启示之一。

第二部分将探讨机器学习,这一块我将使用模型推理算法的框架,这也正是我在每一篇博客文章中惯用的形式:

→ 概率模型。我们用属性具体化概率模型,结构化假设出我们认为是该问题的最佳描述,和最期望看到结果的原始信息。

→ 推理原则。模型的选择、假设的类型、近似、计算和精度,限制了我们必须有效的选择推理原则,我们用其连接模型中所观察的具体化数据

→ 算法。任何选择的模型和推理都可以用许多不同的方式实现,描述特定建筑组件的算法也一样,所使用的计算类型,以及如何利用计算平台。

现存的认知框架

我将使用的描述框架简单的结合了认知科学和机器学习,以方便对其进行描述。但认知科学有着丰富的概念框架,它有助于理解不同的认知现象。其中有三个框架总能提供灵感:

1.分级认知结构

在1976年,Newell 和 Simon 通过三级层次解密了这种复杂的认知过程,它们被称为分级结构。其三级结构是:

1.知识层。通过推动目标和分析实现所需要的知识库解释代理的行为。

2.象征层。代理的知识和目标将被编码到象征结构中,它可以用不同的方式连接,并操纵以实现目标。

3.物质层。象征层结构和它们的操纵被放入到物理结构中。

2.Marr的分析层次

Marr's levels 的影响力非常大,且我发现在探索神经科学与机器学习之间的联系时,它非常有效。Marr's levels 与 Newell 和 Simon 的理论非常相似:

1.计算。处理需要通过代理来实现的高层次的任务。

2.算法。指定如何解决计算问题。

3.实施。确定的解决方案必须可以在大脑中实现。

3.Sun的现象学层次

该框架主要集中于认知现象而不只是个框架,并鼓舞我们从整体上在物理和社会学两个层次思考代理和其环境之间的关系。我们可以使用四种现象的层次结构:

1.社会学。集体行为代理非常很重要,该层次解释了代理之间的关系和社会文化进程。

2.心理学。重点是个体代理的行为、信念、知识、概念和它们拥有的技能。

3.成分学。认知功能由几个组件组成。我们可以指定一个认知结构(例如,ACT-R,CLARION,,NEF),计算范式(例如,符号,联结,贝叶斯),和可以考虑到的潜在生物约束。

4.生理学。实现生物基质中任何确定的组件。

还有其他的框架,抽象的认知结构和合理分析也很常用。

结语

认知科学是一大市场,我们可以把机器学习和统计结合到神经科学,甚至是哲学。还有很多其它的东西,我希望在这一系列的过程中,可用提炼出很多的想法,以作为未来机器学习系统的强大灵感源泉。

原文发布于微信公众号 - AI科技评论(aitechtalk)

原文发表时间:2016-10-09

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏量子位

再谈“炼金术”:可以使用不严谨的方法,但拒绝不严谨的评估方法

原作:inFERENCe 安妮 编译自 inference.vc 量子位 出品 | 公众号 QbitAI 昨天,NIPS大会中“Test of Time”最具时...

2545
来自专栏机器之心

学界 | Science介绍新型好奇心算法:基于强化学习摸索世界

选自Science 作者:Matthew Hutson 机器之心编译 参与:吴攀、李亚洲 好奇心一直被一些科学家认为是智能的基本属性之一,为机器赋予好奇心自然...

3537
来自专栏GAN&CV

如何快速进阶AI的资源

本文译自:https://towardsdatascience.com/getting-started-with-reading-deep-learning-r...

1262
来自专栏量子位

最近有啥ML比赛能表现自己的优秀?CVPR2018图像压缩大赛

原作 Michele Covell Root 编译自 谷歌博客 量子位 出品 | 公众号 QbitAI 新的一年来了,想给自己找个难度大的挑战?有哪些问题是有重...

2897
来自专栏机器之心

入门 | 从遗传算法到强化学习,一文介绍五大生物启发式学习算法

44910
来自专栏量子位

牛津大学最新研究:给我一张照片,就能让你开口讲话

若朴 发自 凹非寺 量子位 报道 | 公众号 QbitAI 这句话你说过没有?不承认?我给你看证据! 于是你就看到一段视频,画面中的你开口说了一段你不曾讲过的话...

4197
来自专栏AI科技大本营的专栏

量子计算+人工智能——这才是未来科技的最大热门!

编译 | AI科技大本营 参与 | shawn 编辑 | 明明 90年代初,当卫奇塔州立大学(Wichita State University)的物理学教授El...

4037
来自专栏智能计算时代

深度学习架构的设计模式:介绍

深度学习架构可以被描述为建立机器学习系统的新方法或风格。深度学习更有可能导致更先进的人工智能形式。这方面的证据是自十年来以来发生的巨大突破。在新的乐观的氛围中,...

4386
来自专栏CreateAMind

以学习常识为目标的自动驾驶-commaai第三篇

1051
来自专栏人人都是极客

如何加速深度学习?GPU、FPGA还是专用芯片

计算机发展到今天,已经大大改变了我们的生活,我们已经进入了智能化的时代。但要是想实现影视作品中那样充分互动的人工智能与人机互动系统,就不得不提到深度学习。

791

扫码关注云+社区