美国MIT研究人员揭示神经网络运行机制

美国麻省理工学院(MIT)官网报道该校在通用神经网络方面的研究进展可用于揭示神经网络的运行机制。理解神经网络的运行机制可以帮助研究人员增强其性能,并将从中获得的经验转用到其他应用。

神经网络的机器学习系统通过分析大量的训练数据来学习如何执行任务。在训练中,神经网络不断调整数千个内部参数,直到能够可靠地执行一些任务,例如识别数字图像中的对象,或将文本从一种语言翻译成另一种语言。但这些参数的最终值对揭示神经网络的运行机制用处不大。最近,计算机科学家开发了一些巧妙的技术,可以对特定神经网络的计算进行划分。

在新近召开的2017年自然语言处理实践方法大会上,来自MIT计算机科学与人工智能实验室的研究人员提出了一种新的通用技术,可以解释经过训练的神经网络是如何执行自然语言处理任务的,让计算机尝试解释以普通语言或自然语言编写的自由格式的文本(而不是结构化语言,如数据库查询语言)。

该技术适用于以文本为输入并以字符串为输出的任何系统,如自动翻译器。而由于其分析过程受到不同输入和输出结果的影响,它可以基于在线的自然语言处理服务进行工作,而无需访问底层软件。事实上,该技术可以与任意的黑盒文本处理系统一起使用,而无需考虑其内部机制。在实验中,研究人员展示了该技术能够识别出不同人类翻译员的特质。

(1)主题与变化

该技术类似于一种已经被用于分析执行计算机视觉任务(如对象识别)的神经网络的技术。有一类软件能够系统地扰乱或改变图像的不同部分,并将图像重新提交到对象识别器,从而确定哪些图像特征会得出哪些分类。但是,将这种方法用于自然语言处理并不容易。

有趣的是,为了产生用于测试黑盒神经网络的句子,MIT电气工程与计算机科学专业的研究生汤米·亚克拉(Tommi Jaakkola)和戴维·阿瓦瑞兹·莫里斯(David Alvarez –Melis)使用了一个黑盒神经网络。他们首先训练了一个用于压缩和解压缩自然句子的神经网络,即创建一些用于中间过程的、能够表示句子的紧凑数字形式,然后尝试将其重新扩展成其原始形式。在训练期间,依据解码器输出对编码器输入的忠实程度,编码器和解码器被同时得以评估。

神经网络本质上是概率性的:例如,向一个对象识别系统输入一幅小狗图像,它得出的结论可能是该图像有70%的概率表示狗,有25%的概率表示猫。类似地,Jaakkola和Alvarez-Melis的压缩句子神经网络为已解码语句中的每个单词提供了不同含义,同时给出了每种含义正确性的概率。

对任何句子,系统都可以生成一个与之密切相关的句子。Jaakkola和Alvarez-Melis将后者输入到黑盒自然语言处理器中,得到的结果是很长的一列输入输出对。利用研究人员的算法对这些输入输出对进行分析,可以确定哪些输入的何种变化对应于输出发生的改变。

(2)测试案例

研究人员将他们的技术应用于三种不同类型的自然语言处理系统。一个是词语发音推断系统;另一个是一组翻译器,包括两个自动翻译器和一个人工翻译器;第三个是一个简单的计算机对话系统,旨在为任意言论或问题提供合理的回答。不出所料的是,上述翻译系统的分析结果表明了输入与输出序列中单个词之间的依赖性很强。

原文发布于微信公众号 - 人工智能快报(AI_News)

原文发表时间:2017-09-18

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏量子位

大神Hinton的Capsule论文终于公开,神经网络迎来新探索

夏乙 问耕 编译整理 量子位 出品 | 公众号 QbitAI ? “我的观点是把它全部抛掉,重头再来。” 今年9月的一次大会上,大神Geoffrey Hinto...

3235
来自专栏新智元

【吐血整理】台湾大学李宏毅深度强化学习笔记(49PPT)

【新智元导读】来自台湾超受欢迎的李宏毅老师深层强化学习49页PPT以及笔记,熬夜整理,值得收藏。本文授权转载自Medium,作者Ivan Lee。

733
来自专栏华章科技

从阿里巴巴笔试试题看数据分析师的职业要求

以下试题是来自阿里巴巴2011年招募实习生的一次笔试题,从笔试题的几个要求我们一起来看看数据分析的职业要求。

701
来自专栏华章科技

大神Hinton的Capsule论文终于公开,神经网络迎来新探索

今年9月的一次大会上,大神Geoffrey Hinton再次号召展开一次AI革命。

743
来自专栏人工智能头条

聚焦和增强卷积神经网络

1384
来自专栏鸿的学习笔记

用于工业界的机器学习:案例研究

您好,我是Chris Burges。 在我过去在微软工作了14年,在此之前为贝尔实验室又工作了14年,我花了大量的时间在机器学习(ML)上,其中有部分时间又花在...

621
来自专栏大数据挖掘DT机器学习

怎样分析样本调研数据(译)

从一个群体样本中获取群体的整体特征是许多研究设计和统计方法发展的基础。根据数据收集的算法、调研问题的类型和调研的目标,分析样本调研数据的方法各不相同。这篇文章会...

3194
来自专栏PPV课数据科学社区

【学习】怎样分析样本调研数据

从一个群体样本中获取群体的整体特征是许多研究设计和统计方法发展的基础。根据数据收集的算法、调研问题的类型和调研的目标,分析样本调研数据的方法各不相同。这篇文章会...

3997
来自专栏大数据文摘

我们压缩了一批深度学习进阶“传送门”给小白

1313
来自专栏机器学习算法与Python学习

文本嵌入的经典模型与最新进展(下载PDF)

1643

扫描关注云+社区