DeepMind研究:测试神经网络的抽象推理

编译:chux

出品:ATYUN订阅号

机器能学会抽象推理吗?这是谷歌子公司DeepMind发表的一篇新论文的主题,题为“Measuring abstract reasoning in neural networks”,将在瑞典斯德哥尔摩举行的国际机器学习会议上发表。

研究人员将抽象推理定义为在概念层面检测模式和解决问题的能力。人类的语言,空间和数学推理可以通过测试来经验性地测量,如通过梳理形状位置和线条颜色之间的关系。但那些测试并不完美。

“问题是,即使是人类,如果受试者准备太多,这样的测试也可能无效,因为可以学习特定测试的启发式方法,从而缩短了对普遍适用的推理的需求,”研究人员解释说,“鉴于神经网络具有惊人的记忆能力,这种潜在的缺陷在神经网络中更为严重。”

团队的解决方案是一个生成器,它创建涉及一系列抽象因素的问题,包括“渐进”之类的关系以及“颜色”和“大小”之类的属性。他们限制这些因素来创建不同的问题集,例如,揭示的谜题仅在应用于线条颜色时的渐进关系,以测试和训练机器学习模型。人们的想法是,高熟练度的算法,很有可能推断出他们从未见过的概念。

机器学习模型完成的一个视觉测试

大多数模型在测试中表现良好,有些模型的性能高达75%,研究人员发现,模型准确性与推断任务的潜在抽象概念的能力密切相关。他们通过训练模型来获得答案,从而提高了性能,并预测了应该考虑的关系和属性来解决这个难题。

团队写道,“有些模型学会了解决复杂的视觉推理问题,为此,他们需要从原始像素输入中诱导和检测抽象概念的存在,如逻辑运算和算术进展,以及将这些原则应用于从未观察到的刺激。”

但即使是表现最佳的神经网络Wild Relation Network(WReN)也有其局限性:它无法推断出在训练期间没有看到的属性值,并且在对先前看到的关系进行训练时,它在泛化任务上的表现更差(例如,形状数量的进展)或新属性(大小)。

“我们的研究结果显示,对于泛化得出普遍的结论可能是无益的:我们测试的神经网络在某些泛化方案中表现良好,而在其他方面表现很差,”该团队在博客文章中写道,“他们的成功取决于一系列因素,包括所用模型的架构以及该模型是否经过训练,以便为其答案选择提供可解释的理由。”

最终的结果可能是一个大杂烩,但研究人员还没有放弃。他们打算探索改进泛化的策略,并探索在未来的模型中使用结构丰富、但普遍适用的归纳偏差。

论文:proceedings.mlr.press/v80/santoro18a/santoro18a.pdf

  • 发表于:
  • 原文链接https://kuaibao.qq.com/s/20180712B1LJYY00?refer=cp_1026
  • 腾讯「腾讯云开发者社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。
  • 如有侵权,请联系 cloudcommunity@tencent.com 删除。

扫码关注腾讯云开发者

领取腾讯云代金券