前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >DeepMind研究:测试神经网络的抽象推理

DeepMind研究:测试神经网络的抽象推理

作者头像
AiTechYun
发布2018-07-27 14:34:27
8050
发布2018-07-27 14:34:27
举报
文章被收录于专栏:ATYUN订阅号

编译:chux

出品:ATYUN订阅号

机器能学会抽象推理吗?这是谷歌子公司DeepMind发表的一篇新论文的主题,题为“Measuring abstract reasoning in neural networks”,将在瑞典斯德哥尔摩举行的国际机器学习会议上发表。

研究人员将抽象推理定义为在概念层面检测模式和解决问题的能力。人类的语言,空间和数学推理可以通过测试来经验性地测量,如通过梳理形状位置和线条颜色之间的关系。但那些测试并不完美。

“问题是,即使是人类,如果受试者准备太多,这样的测试也可能无效,因为可以学习特定测试的启发式方法,从而缩短了对普遍适用的推理的需求,”研究人员解释说,“鉴于神经网络具有惊人的记忆能力,这种潜在的缺陷在神经网络中更为严重。”

团队的解决方案是一个生成器,它创建涉及一系列抽象因素的问题,包括“渐进”之类的关系以及“颜色”和“大小”之类的属性。他们限制这些因素来创建不同的问题集,例如,揭示的谜题仅在应用于线条颜色时的渐进关系,以测试和训练机器学习模型。人们的想法是,高熟练度的算法,很有可能推断出他们从未见过的概念。

机器学习模型完成的一个视觉测试

大多数模型在测试中表现良好,有些模型的性能高达75%,研究人员发现,模型准确性与推断任务的潜在抽象概念的能力密切相关。他们通过训练模型来获得答案,从而提高了性能,并预测了应该考虑的关系和属性来解决这个难题。

团队写道,“有些模型学会了解决复杂的视觉推理问题,为此,他们需要从原始像素输入中诱导和检测抽象概念的存在,如逻辑运算和算术进展,以及将这些原则应用于从未观察到的刺激。”

但即使是表现最佳的神经网络Wild Relation Network(WReN)也有其局限性:它无法推断出在训练期间没有看到的属性值,并且在对先前看到的关系进行训练时,它在泛化任务上的表现更差(例如,形状数量的进展)或新属性(大小)。

“我们的研究结果显示,对于泛化得出普遍的结论可能是无益的:我们测试的神经网络在某些泛化方案中表现良好,而在其他方面表现很差,”该团队在博客文章中写道,“他们的成功取决于一系列因素,包括所用模型的架构以及该模型是否经过训练,以便为其答案选择提供可解释的理由。”

最终的结果可能是一个大杂烩,但研究人员还没有放弃。他们打算探索改进泛化的策略,并探索在未来的模型中使用结构丰富、但普遍适用的归纳偏差。

论文:proceedings.mlr.press/v80/santoro18a/santoro18a.pdf

本文参与 腾讯云自媒体同步曝光计划,分享自微信公众号。
原始发表:2018-07-12,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 ATYUN订阅号 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档