小白不知从何入手认知机器学习?Shakir Mohamed 授你锦囊妙计

导读:如何让机器学习从环境中自主学习和思考是科学家们正努力探索的目标。本文的一些想法说不定可以为研究带来一丝灵感。

注:本文译自 The Spectator,作者为 Shakir Mohamed 。文中所有观点均为原作者提出,不代表本网站和本人观点。Shakir Mohamed 是研究统计机器学习方面的科学家。主攻贝叶斯推理,变分推理,深度学习,强化学习。

认知机器学习

机器学习中最不缺的东西就是灵感来源。至少对我来说是这样的,它使机器学习变成了有价值且令人兴奋的领域。我们从统计学方面传统的相邻领域获取灵感,如信号处理、控制工程、信息理论,和统计物理。我们的运气一直都很好,且我们可以从很多其它科学领域获得更多的灵感,如生物和进化系统,以及对其来说重要的东西,认知社会学、心理学和神经科学。

我以前探索机器学习的重要灵感来源是神经科学、解密预测所扮演的角色、稀疏性,以及搭建学习系统时的模块化和互补学习。除了学习系统外,也有其他技能可以在更高层次的对其进行更好地理解,从认知科学的角度进行研究。

在该系列中我想探索的主题有四个,且我认为是其中最重要的探索是:

1.因果推理。我们怎样才可以建立能从因果和影响中学习,并检测因果关系的机器学习系统。人类在这方面的能力非常强,我们将探讨认知系统中因果感应,反事实推理和因果学习的方方面面。在机器学习中我们可以将其联想为影响图中的推理,和有向非循环图中的推理。

2.科学家一样的代理。对于人类来说,我们在不断探索和学习周围的事物。我们产生假设,验证它,并从中学习。赋予机器学习这样的侦查能力,它将引领我们检验溯因推理,主动学习,贝叶斯优化,和 Bandits 。

3.认知语义。人类是如何学习意义并建立知识、对象和关系的概念。我们可以将理解从认知科学结合到统计学关系 AI,更为广泛的关系学习、模块和社区发现。

4.形成思想的理论。人类身处社会,并从中学习和获取知识。我们的认知工具包括归因论、意向代理论和理论论。我们可以将其与经济学,博弈论和多智能体系统中广泛的思维结合起来。

该系列大体框架的描述

为了更好地描述认知的概念,以及它们与机器学习之间的关系,我将把讨论分成两部分。第一部分将处理认知科学,并提供以下描述:

→ 认知观察。首先,显而易见的是我们会观察众多认知任务中的一个,并从人生经验和观察到的东西找到证据。

→ 认知灵感。我们将精炼认知的证据以形成认知原则,这也将是研究机器学习系统的启示之一。

第二部分将探讨机器学习,这一块我将使用模型推理算法的框架,这也正是我在每一篇博客文章中惯用的形式:

→ 概率模型。我们用属性具体化概率模型,结构化假设出我们认为是该问题的最佳描述,和最期望看到结果的原始信息。

→ 推理原则。模型的选择、假设的类型、近似、计算和精度,限制了我们必须有效的选择推理原则,我们用其连接模型中所观察的具体化数据

→ 算法。任何选择的模型和推理都可以用许多不同的方式实现,描述特定建筑组件的算法也一样,所使用的计算类型,以及如何利用计算平台。

现存的认知框架

我将使用的描述框架简单的结合了认知科学和机器学习,以方便对其进行描述。但认知科学有着丰富的概念框架,它有助于理解不同的认知现象。其中有三个框架总能提供灵感:

1.分级认知结构

在1976年,Newell 和 Simon 通过三级层次解密了这种复杂的认知过程,它们被称为分级结构。其三级结构是:

1.知识层。通过推动目标和分析实现所需要的知识库解释代理的行为。

2.象征层。代理的知识和目标将被编码到象征结构中,它可以用不同的方式连接,并操纵以实现目标。

3.物质层。象征层结构和它们的操纵被放入到物理结构中。

2.Marr的分析层次

Marr's levels 的影响力非常大,且我发现在探索神经科学与机器学习之间的联系时,它非常有效。Marr's levels 与 Newell 和 Simon 的理论非常相似:

1.计算。处理需要通过代理来实现的高层次的任务。

2.算法。指定如何解决计算问题。

3.实施。确定的解决方案必须可以在大脑中实现。

3.Sun的现象学层次

该框架主要集中于认知现象而不只是个框架,并鼓舞我们从整体上在物理和社会学两个层次思考代理和其环境之间的关系。我们可以使用四种现象的层次结构:

1.社会学。集体行为代理非常很重要,该层次解释了代理之间的关系和社会文化进程。

2.心理学。重点是个体代理的行为、信念、知识、概念和它们拥有的技能。

3.成分学。认知功能由几个组件组成。我们可以指定一个认知结构(例如,ACT-R,CLARION,,NEF),计算范式(例如,符号,联结,贝叶斯),和可以考虑到的潜在生物约束。

4.生理学。实现生物基质中任何确定的组件。

还有其他的框架,抽象的认知结构和合理分析也很常用。

结语

认知科学是一大市场,我们可以把机器学习和统计结合到神经科学,甚至是哲学。还有很多其它的东西,我希望在这一系列的过程中,可用提炼出很多的想法,以作为未来机器学习系统的强大灵感源泉。

原文发布于微信公众号 - AI科技评论(aitechtalk)

原文发表时间:2016-10-09

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏AI科技大本营的专栏

2017深度学习展望

---- 作者: James Kobielus 编译: AI100 原文地址: http://www.kdnuggets.com/2016/12/ibm-...

2345
来自专栏AI科技评论

视频 | 棋类大战中惨败的人类,现在想要在电子游戏上扳回一局

喜欢机器学习和人工智能,却发现埋头苦练枯燥乏味还杀时间?油管频道 Arxiv Insights 每周精选,从技术视角出发,带你轻松深度学习。 本期 Arxiv ...

3526
来自专栏CSDN技术头条

在人工智能和大数据产品的开发中,有哪些需要特别注意的点?

人工智能是近年来科技发展的重要方向,大数据的采集、挖掘、应用的技术越来越受到瞩目。在人工智能和大数据产品的开发过程中,有哪些特别需要注意的要点?人工智能领域的算...

1827
来自专栏计算机视觉战队

Deep Learning的展望

随着2017年的到来,深度学习技术也迎来了新的一年。深度学习是一门基于多层神经网络的技术,此项技术是许多颠覆性技术(如人工智能、认知计算、实时数据流分析等)的基...

3459
来自专栏AI科技评论

腾讯AI Lab 8篇论文入选,从0到1解读语音交互能力 | InterSpeech 2018

AI科技评论按:Interspeech 会议是全球最大的综合性语音信号处理领域的科技盛会,首次参加的腾讯 AI Lab共有8篇论文入选,居国内企业前列。这些论文...

411
来自专栏AI科技大本营的专栏

AI调参师会被取代吗?对话AutoML初创公司探智立方

1955 年,约翰·麦卡锡(John McCarthy)、马文·闵斯基(Marvin Minsky)、克劳德·香农(Claude Shannon)等人聚在一起,...

392
来自专栏AI科技评论

动态 | DeepMind 弹性权重巩固算法让 AI 拥有“记忆” ,将成机器高效学习的敲门砖

一直以来,计算机程序都是个“左耳进,右耳出”的“傻小子”,它们很快就会忘掉所做过的任务。DeepMind 决定改变传统的学习法则,让程序在学习新任务时也不忘掉旧...

3548
来自专栏大数据挖掘DT机器学习

两个月入门深度学习,全靠动手实践

向AI转型的程序员都关注了这个号??? 搞CNN的工程应用有一段时间了,特别是在计算机视觉领域。分享下我自己的CNN学习历程。 简单的说,深度学习就是模仿人脑...

4418
来自专栏腾讯大数据的专栏

浅谈大数据应用研究的3个V

To knowledge是目标,手段还是mining,俗称数据民工。每当大家讲到大数据,都会不约而同的提到大数据几个V的定义:Volume,Variety,Ve...

1838
来自专栏智能算法

2017年关于深度学习的十大预测

Carlos E. Perez对深度学习的2017年十大预测,让我们不妨看一看。有兴趣的话,可以在一年之后回顾这篇文章,看看这十大预测有多少准确命中:) ? 1...

4016

扫描关注云+社区