小白不知从何入手认知机器学习?Shakir Mohamed 授你锦囊妙计

导读:如何让机器学习从环境中自主学习和思考是科学家们正努力探索的目标。本文的一些想法说不定可以为研究带来一丝灵感。

注:本文译自 The Spectator,作者为 Shakir Mohamed 。文中所有观点均为原作者提出,不代表本网站和本人观点。Shakir Mohamed 是研究统计机器学习方面的科学家。主攻贝叶斯推理,变分推理,深度学习,强化学习。

认知机器学习

机器学习中最不缺的东西就是灵感来源。至少对我来说是这样的,它使机器学习变成了有价值且令人兴奋的领域。我们从统计学方面传统的相邻领域获取灵感,如信号处理、控制工程、信息理论,和统计物理。我们的运气一直都很好,且我们可以从很多其它科学领域获得更多的灵感,如生物和进化系统,以及对其来说重要的东西,认知社会学、心理学和神经科学。

我以前探索机器学习的重要灵感来源是神经科学、解密预测所扮演的角色、稀疏性,以及搭建学习系统时的模块化和互补学习。除了学习系统外,也有其他技能可以在更高层次的对其进行更好地理解,从认知科学的角度进行研究。

在该系列中我想探索的主题有四个,且我认为是其中最重要的探索是:

1.因果推理。我们怎样才可以建立能从因果和影响中学习,并检测因果关系的机器学习系统。人类在这方面的能力非常强,我们将探讨认知系统中因果感应,反事实推理和因果学习的方方面面。在机器学习中我们可以将其联想为影响图中的推理,和有向非循环图中的推理。

2.科学家一样的代理。对于人类来说,我们在不断探索和学习周围的事物。我们产生假设,验证它,并从中学习。赋予机器学习这样的侦查能力,它将引领我们检验溯因推理,主动学习,贝叶斯优化,和 Bandits 。

3.认知语义。人类是如何学习意义并建立知识、对象和关系的概念。我们可以将理解从认知科学结合到统计学关系 AI,更为广泛的关系学习、模块和社区发现。

4.形成思想的理论。人类身处社会,并从中学习和获取知识。我们的认知工具包括归因论、意向代理论和理论论。我们可以将其与经济学,博弈论和多智能体系统中广泛的思维结合起来。

该系列大体框架的描述

为了更好地描述认知的概念,以及它们与机器学习之间的关系,我将把讨论分成两部分。第一部分将处理认知科学,并提供以下描述:

→ 认知观察。首先,显而易见的是我们会观察众多认知任务中的一个,并从人生经验和观察到的东西找到证据。

→ 认知灵感。我们将精炼认知的证据以形成认知原则,这也将是研究机器学习系统的启示之一。

第二部分将探讨机器学习,这一块我将使用模型推理算法的框架,这也正是我在每一篇博客文章中惯用的形式:

→ 概率模型。我们用属性具体化概率模型,结构化假设出我们认为是该问题的最佳描述,和最期望看到结果的原始信息。

→ 推理原则。模型的选择、假设的类型、近似、计算和精度,限制了我们必须有效的选择推理原则,我们用其连接模型中所观察的具体化数据

→ 算法。任何选择的模型和推理都可以用许多不同的方式实现,描述特定建筑组件的算法也一样,所使用的计算类型,以及如何利用计算平台。

现存的认知框架

我将使用的描述框架简单的结合了认知科学和机器学习,以方便对其进行描述。但认知科学有着丰富的概念框架,它有助于理解不同的认知现象。其中有三个框架总能提供灵感:

1.分级认知结构

在1976年,Newell 和 Simon 通过三级层次解密了这种复杂的认知过程,它们被称为分级结构。其三级结构是:

1.知识层。通过推动目标和分析实现所需要的知识库解释代理的行为。

2.象征层。代理的知识和目标将被编码到象征结构中,它可以用不同的方式连接,并操纵以实现目标。

3.物质层。象征层结构和它们的操纵被放入到物理结构中。

2.Marr的分析层次

Marr's levels 的影响力非常大,且我发现在探索神经科学与机器学习之间的联系时,它非常有效。Marr's levels 与 Newell 和 Simon 的理论非常相似:

1.计算。处理需要通过代理来实现的高层次的任务。

2.算法。指定如何解决计算问题。

3.实施。确定的解决方案必须可以在大脑中实现。

3.Sun的现象学层次

该框架主要集中于认知现象而不只是个框架,并鼓舞我们从整体上在物理和社会学两个层次思考代理和其环境之间的关系。我们可以使用四种现象的层次结构:

1.社会学。集体行为代理非常很重要,该层次解释了代理之间的关系和社会文化进程。

2.心理学。重点是个体代理的行为、信念、知识、概念和它们拥有的技能。

3.成分学。认知功能由几个组件组成。我们可以指定一个认知结构(例如,ACT-R,CLARION,,NEF),计算范式(例如,符号,联结,贝叶斯),和可以考虑到的潜在生物约束。

4.生理学。实现生物基质中任何确定的组件。

还有其他的框架,抽象的认知结构和合理分析也很常用。

结语

认知科学是一大市场,我们可以把机器学习和统计结合到神经科学,甚至是哲学。还有很多其它的东西,我希望在这一系列的过程中,可用提炼出很多的想法,以作为未来机器学习系统的强大灵感源泉。

原文发布于微信公众号 - AI科技评论(aitechtalk)

原文发表时间:2016-10-09

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏IT派

AI复现大脑导航功能:DeepMind重大研究突破再次登上Nature

老鼠使用网格细胞来导航,这一能力如今被 AI 程序所模拟。图片:Al Fenn/LIFE Coll

733
来自专栏人工智能头条

专家展望未来5年深度学习发展趋势

1744
来自专栏PPV课数据科学社区

当我们在分析异常数据时,我们在分析什么

数据异常分析,是数据分析工作中最常见且重要的分析主题,通过一次次的异常分析来明确造成数据波动的原因,建立日常的的运营工作和数据波动之间的相关性以及贡献程度的概念...

1053
来自专栏人工智能快报

科学家研制出具有更好自学能力的计算机

物理研究门户网站phys.org发文称科学家开发出了一种基于神经启发的模拟计算机,它能够在执行任务时通过自我训练将自己变得更好。这个基于一种名为“储备池计算”的...

2656
来自专栏大数据挖掘DT机器学习

数据挖掘模型生命周期管理

为成功地利用数据挖掘模型,我们需要从开发阶段直至生产环境对模型进行全面跟踪管理与评估。挖掘模型生命周期过程是由以下阶段组成的高效交替过程。 ? 确定商业目标 ...

2867
来自专栏养码场

19岁的谷歌战略AI first,25岁的Java工程师如何转型人工智能?

在今天的Google I/O 主题演讲上,Google CEO 桑德尔·皮蔡并没有发布什么新的产品,而是给大家带来了一家新的公司——公司的战略正在从“Mobil...

1021
来自专栏大数据文摘

当人工智能遇上「刻板印象」

1555
来自专栏大数据文摘

12位专家,展望未来5年深度学习发展趋势

1998
来自专栏新智元

华为李航:NLP 有 5 个基本问题,深度学习有4个做得很好 (PPT)| 北大AI公开课

【新智元导读】 在北大 AI 公开课第8讲上,华为诺亚方舟实验室主任李航老师综述性地为大家介绍了 NLP 的任务、特点、最新技术以及发展趋势。李航老师精辟地总结...

5366
来自专栏PPV课数据科学社区

【学习】深入浅出——谈数据挖掘

本文对数据挖掘概念的产生,数据挖掘与常规数据分析的主要区别,所能解决的几大类问题和所应用的领域都有着非常清晰的论述。作者在此篇文章中认为数据挖掘最重要的要素是分...

2564

扫码关注云+社区