【业界】Deepmind 开发可微分神经计算机: 我们离会推理的机器人还有多远

还记得击败世界围棋大师的阿尔法狗 AlphaGo 吗?

它来自谷歌 DeepMind 团队,现在这个人工智能实验室又推出了一项重磅研究——可微分神经计算机的神经网络模型(Differentiable Neural Computer,简称 DNC)。这种新型模型将神经网络与可读写的外部存储器结合,既能像神经网络那样通过试错和样本训练进行深度学习,又能像传统计算机一样处理数据。

深度学习作为一种神经网络人工智能算法,能够通过一些“深”层计算,对海量的数据进行更新学习。这种类似大脑结构的神经网络层由节点组成(也被称为神经元)。许多科技巨头如谷歌、Facebook、亚马逊和微软都一直在训练神经网络来学习如何更好地处理工作任务,包括识别狗的图像以及做出更好的翻译软件。这些 AI 功能已经让数百万人在使用谷歌翻译等在线服务中受益。

但是,神经网络面临着巨大的挑战:常规计算机可以处理复杂形式的数据,但是需要手动编程来执行这些任务。虽然人工神经网络可以像大脑一样进行学习,从数据中识别模式,但是它缺少存储器架构,无法对结构化数据进行符号处理。

DNC 简易模型,图源:FT

为了提高深度学习的能力,谷歌的 DeepMind 团队创造了这种新型机器学习算法“ 可微分神经计算机”DNC,它将“神经网络”计算系统与传统计算机存储器结合在一起。

神经网络是一个互联的系统,它模仿生物神经网络运行,比如大脑的工作模式。在最近取得的各项人工智能成就中,神经网络扮演了关键角色。例如,在数字助手,如 Google Voice、Siri 中增强语音识别能力。在之前的研究中,神经网络只能连接自有网络所包含的数据。而最近,DeepMind 团队宣布,在 DNC 的支持下,神经网络可以接入之前不相容的外部数据,比如以传统数字模式编码的文本。这也就是说,我们离会思考的计算机更近了一步。

从数学上讲,DNC 类似一个可微分的函数,这或许是研究人员称它为可微分的原因。而数字计算机不可微分,因此也无法做到像神经网络一样从数据中学习。DNC 可以成功地理解图形结构,如家谱或传输网络,它甚至可以根据一张家谱来判断一个人的家族关系。此外,DNC 还能在没有先验知识的情况下规划在伦敦地铁上的最佳路线,解决涉及用符号语言描述目标的移动拼图谜题。

美国HBO连续剧《西部世界》剧照

推理是灵长类动物才具备的能力,DeepMind 这种或许能够“唤醒”机器的人工智能算法与最近大火的神剧《西部世界》中的设想一致——也许有一天,我们真的能看到会自主推理的机器人,以及能思考的计算机。

DNC 包含了若干个模块,所有的这些模块都完全不是符号化的,彼此之间通过纯粹的模拟激活模型来交换信息流(streams),正如从生物大脑中记录的那样。

推理的一个关键前提,是记忆。在计算机中,记忆的角色由随机访问内存 RAM 承担。当计算机进行推理,也就是运行程序时,所有的信息都被捆绑在工作的内存中,并且结合的方式数不胜数。把人类的推理过程拿来与计算机程序相比,其实并不牵强。事实上,在现代可编程计算机(图灵机)和亚里士多德的三段论存在严肃的历史联系。

DNC 项目主管 Alex Graves 表示,“神经网络的记忆受到计算本身的约束,我们决定通过分离存储器的方式让它变得更强大,这样一来,不影响处理器就可以扩充规模。”

一些独立计算机科学家认为通用 DNC 应用范围广阔,例如,它可以用来生成视频注释,从文本中提取有意义的内容。甚至在未来,它还能够应用在包含问答、像真实世界一样的对话,这种需要一定的推理能力任务。

这个新项目被 Google 发表在《自然》杂志上。在文章里 Google 举了若干个应用实例,比如,集成后的深度学习技术能够自动发现两个地铁站之间最短的路线,它会自己进行“推理”,说出你想要到达的目的地。正确率高达 90% 以上。

英国《金融时报》援引斯坦福大学心智、大脑和计算中心主任 Jay McClelland 称,这项研究将成为人工智能领域“有趣且重要的里程碑”。

原文发布于微信公众号 - AI科技评论(aitechtalk)

原文发表时间:2016-10-13

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏AI科技大本营的专栏

重磅 | 李飞飞最新演讲:ImageNet后,我专注于这五件事——视觉理解、场景图,段落整合、视频分割及CLEVR数据集

2017中国计算机大会(CNCC2017)于10月26日在福州海峡国际会展中心开幕,大会为期3天。 而就在今天上午,李飞飞、沈向洋、汤道生、马维英等重磅大咖纷纷...

2656
来自专栏人工智能头条

微软人工智能首席科学家邓力:深度监督学习的局限和破解思路

1173
来自专栏机器之心

专栏 | 田渊栋:第一届FLAIR感想

3369
来自专栏AI研习社

今日头条成功的核心技术秘诀是什么?

资讯产品近几年持续火爆,赚足了人们的眼球。以今日头条披露的数据为例:日活跃用户超过一亿,单用户日均使用时长超过 76分钟,资讯类产品的火爆程度可见一斑。资讯类产...

3414
来自专栏机器之心

学界 | 如何设计奖励函数

选自 nlpers.blogspot 机器之心编译 参与:Jane W、黄小天 作者Hal Daumé III是美国马里兰大学计算机科学院CLIP lab副教授...

25911
来自专栏大数据挖掘DT机器学习

教你如何用机器学习预测《权利的游戏》中的叛徒

几个月之前,Airbnb发布了一篇博文,在这篇文章中作者向读者介绍了他们的数据科学家建立一个机器学习模型来保护自己的用户免遭来自恶意行为的欺诈危害。如果我们将...

3236
来自专栏腾讯云安全的专栏

TenSec 再掀 AI 热:腾讯云如何将 AI 应用于安全

1435
来自专栏大数据文摘

你应该知道的人工智能三大分类

1604
来自专栏新智元

【深度】AI 入侵翻译,神经机器翻译进化让巴别塔7年内成真

【新智元导读】 随着AlphaGo战胜柯洁,AI 所激起的惊慌不仅在围棋界蔓延,而且扩展到了几乎每一个领域,翻译受到的冲击尤为严重。深度学习的出现极大地变革了机...

55818
来自专栏AI科技评论

百度王海峰Quora精华整理:未来5-10年,NLP领域将会有什么进展?

AI科技评论按:近日吴恩达发文将在4月底离职百度。几乎在同一时间,百度也宣布进一步深度整合,将包括NLP、KG、IDL、Speech、Big Data等在内的百...

2614

扫描关注云+社区