前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >人工智能学派之间的「联姻」——Yoshua 新作居然用DL「复活」了符号主义

人工智能学派之间的「联姻」——Yoshua 新作居然用DL「复活」了符号主义

作者头像
新智元
发布2021-04-14 15:01:55
4030
发布2021-04-14 15:01:55
举报
文章被收录于专栏:新智元新智元


新智元报道

来源:arxiv

编辑:keyu

【新智元导读】近日,Yoshua Bengio及其团队利用深度学习,开发出了一套可以揭示丰富视觉环境中的潜在规则的「神经生产系统」,使得现在暂时沉寂的符号人工智能重新恢复了活力。

相信大家都知道,目前人工智能的主要学派有下列三家:

(1) 符号主义(symbolicism),又称为逻辑主义、心理学派或计算机学派,其原理主要为物理符号系统(即符号操作系统)假设和有限合理性原理。

(2) 连接主义(connectionism),又称为仿生学派或生理学派,其主要原理为神经网络及神经网络间的连接机制与学习算法。

(3) 行为主义(actionism),又称为进化主义或控制论学派,其原理为控制论及感知-动作型控制系统。

符号主义曾长期一枝独秀,为人工智能的发展作出重要贡献,尤其是专家系统的成功开发与应用,为人工智能走向工程应用和实现理论联系实际具有特别重要的意义。

1986年,鲁梅尔哈特(Rumelhart)等人提出多层网络中的反向传播(BP)算法。此后,连接主义势头大振,从模型到算法,从理论分析到工程实现,为神经网络计算走向市场打下基础。

而现在,Youshio Bengio干了一件神奇的事情——他带领团队,使用深度学习使符号人工智能恢复了活力:

近日,Youshio Bengio和一组研究人员引入了一个端到端深度学习模型,该模型部分受到经典人工智能生产系统的启发,可以在视频中构建以对象为中心的实体表示,并使用可微分和可学习的生产规则对其进行操作。

研究团队主要来自于蒙特利尔大学的Mila、DeepMind、Waverly和谷歌Brain。

任何结构化视觉环境(如视频)中的对象或者实体都具有可见和潜在的属性,这些属性决定了他们如何相互作用。为这种相互作用建模的传统方法是使用等变图神经网络(GNNs)。

然而,这种设置并不理想,因为GNN并不能预先处理稀疏交互,也不能以实体条件的方式分解交互的知识。

本文提出的神经生产系统(Neural Production Systems,NPS)则解决了这些问题。

论文链接:https://arxiv.org/pdf/2103.01937.pdf

NPS由一组规则模版组成,通过将规则中的占位符变量绑定到特定的实体,这些模版可在丰富的可视环境中分解特定于实体和基于规则的信息。

我们知道,根据物理定律,把盘子从餐桌上推下去会导致盘子掉到地板上,并且很可能会摔碎。

尽管从未学过基本的物理知识,即使是孩子,也可以用命题表达的方式来表达这一知识,比如:「如果一个盘子从桌子上掉下来,它会摔碎。」

然而,这种命题知识的简单表达仍然是深度学习体系结构的一个挑战,原因有两个:

1)命题是离散的,彼此独立

2)命题必须被量化为一阶逻辑的方式。

关于符号知识表示的命题推理,经典的人工智能方法提供了一些有价值的视角。其中,一个简单的例子是20世纪80年代的生产系统,它通过条件-动作规则来表达知识。

现在,研究人员从深度学习的角度重新审视了这种产生系统,并提出了一种神经生产系统,可以自然的将感知处理和随后的视觉推理问题的推理结合起来。

研究人员提出的NPS与传统的生产系统都有四个基本性质:模式、抽象、稀疏和对称。他们规定了知识是如何表示的。

这个生产的体系结构,还支持实体表示的检测和推断,并且能控制他们交互的潜在规则。

图:规则和槽的组合

在上图中,条件操作规则指定实体如何交互,插槽则维持实体的时变状态。每条规则都与一对插槽匹配。通过键值注意力机制,我们可以确定匹配的优度,并选择规则及其对插槽的绑定。

在实验部分,研究人员测试了NPS的有效性。其中一项涉及了学习数字的加、减、乘运算的算数任务;实验还涉及了MNIST转换,以测试扩展到更加丰富的视觉设置的能力;最后,为了模拟简单的物理世界,实验还包括了一个动作约束(Action-Conditioned)的模型。

图:算术任务

上图使了用不同序列长度对应的均方误差损失(MSE),该部分主要将NPS与基线模型进行了比较。

图:MNIST转换

图:Action-Conditioned模型

上图中的(a)使用了H@1指标比较了NPS和GNN(越高越好),(b)表示了在在物理环境中使用单个规则时,NPS中使用的规则应用步骤数量的影响。(c)则对NPS和GNN模型中五款游戏Atari游戏H@1的平均得分进行了比较。

在算术任务中,NPS的MSE明显低于基线。在MNIST转换任务中,NPS成功地学会了使用单独的规则来表示每个转换,而物理环境模拟则验证了NPS从简单(少数对象)环境到更复杂环境的推断能力。

参考资料:

https://arxiv.org/pdf/2103.01937.pdf

本文参与 腾讯云自媒体同步曝光计划,分享自微信公众号。
原始发表:2021-04-05,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 新智元 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • 【新智元导读】近日,Yoshua Bengio及其团队利用深度学习,开发出了一套可以揭示丰富视觉环境中的潜在规则的「神经生产系统」,使得现在暂时沉寂的符号人工智能重新恢复了活力。
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档