美国MIT研究人员揭示神经网络运行机制

美国麻省理工学院(MIT)官网报道该校在通用神经网络方面的研究进展可用于揭示神经网络的运行机制。理解神经网络的运行机制可以帮助研究人员增强其性能,并将从中获得的经验转用到其他应用。

神经网络的机器学习系统通过分析大量的训练数据来学习如何执行任务。在训练中,神经网络不断调整数千个内部参数,直到能够可靠地执行一些任务,例如识别数字图像中的对象,或将文本从一种语言翻译成另一种语言。但这些参数的最终值对揭示神经网络的运行机制用处不大。最近,计算机科学家开发了一些巧妙的技术,可以对特定神经网络的计算进行划分。

在新近召开的2017年自然语言处理实践方法大会上,来自MIT计算机科学与人工智能实验室的研究人员提出了一种新的通用技术,可以解释经过训练的神经网络是如何执行自然语言处理任务的,让计算机尝试解释以普通语言或自然语言编写的自由格式的文本(而不是结构化语言,如数据库查询语言)。

该技术适用于以文本为输入并以字符串为输出的任何系统,如自动翻译器。而由于其分析过程受到不同输入和输出结果的影响,它可以基于在线的自然语言处理服务进行工作,而无需访问底层软件。事实上,该技术可以与任意的黑盒文本处理系统一起使用,而无需考虑其内部机制。在实验中,研究人员展示了该技术能够识别出不同人类翻译员的特质。

(1)主题与变化

该技术类似于一种已经被用于分析执行计算机视觉任务(如对象识别)的神经网络的技术。有一类软件能够系统地扰乱或改变图像的不同部分,并将图像重新提交到对象识别器,从而确定哪些图像特征会得出哪些分类。但是,将这种方法用于自然语言处理并不容易。

有趣的是,为了产生用于测试黑盒神经网络的句子,MIT电气工程与计算机科学专业的研究生汤米·亚克拉(Tommi Jaakkola)和戴维·阿瓦瑞兹·莫里斯(David Alvarez –Melis)使用了一个黑盒神经网络。他们首先训练了一个用于压缩和解压缩自然句子的神经网络,即创建一些用于中间过程的、能够表示句子的紧凑数字形式,然后尝试将其重新扩展成其原始形式。在训练期间,依据解码器输出对编码器输入的忠实程度,编码器和解码器被同时得以评估。

神经网络本质上是概率性的:例如,向一个对象识别系统输入一幅小狗图像,它得出的结论可能是该图像有70%的概率表示狗,有25%的概率表示猫。类似地,Jaakkola和Alvarez-Melis的压缩句子神经网络为已解码语句中的每个单词提供了不同含义,同时给出了每种含义正确性的概率。

对任何句子,系统都可以生成一个与之密切相关的句子。Jaakkola和Alvarez-Melis将后者输入到黑盒自然语言处理器中,得到的结果是很长的一列输入输出对。利用研究人员的算法对这些输入输出对进行分析,可以确定哪些输入的何种变化对应于输出发生的改变。

(2)测试案例

研究人员将他们的技术应用于三种不同类型的自然语言处理系统。一个是词语发音推断系统;另一个是一组翻译器,包括两个自动翻译器和一个人工翻译器;第三个是一个简单的计算机对话系统,旨在为任意言论或问题提供合理的回答。不出所料的是,上述翻译系统的分析结果表明了输入与输出序列中单个词之间的依赖性很强。

原文发布于微信公众号 - 人工智能快报(AI_News)

原文发表时间:2017-09-18

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏AI科技评论

深度 | 清华大学博士生涂锋斌:设计神经网络硬件架构时,我们在思考些什么?(上)

基于神经网络的人工智能近年取得了突破性进展,正在深刻改变人类的生产和生活方式,是世界各国争相发展的战略制高点。 神经网络作为实现人工智能任务的有效算法之一,已经...

34760
来自专栏大数据挖掘DT机器学习

怎样分析样本调研数据(译)

从一个群体样本中获取群体的整体特征是许多研究设计和统计方法发展的基础。根据数据收集的算法、调研问题的类型和调研的目标,分析样本调研数据的方法各不相同。这篇文章会...

38540
来自专栏CreateAMind

深入理解 RNN-神经图灵机(代码)

在写《深度学习与神经科学相遇》的过程中开始谈到了RNNs(Recurrent Neural Networks),我想很有必要暂停下来先对RNNs进行一些更深入的...

19130
来自专栏天天P图攻城狮

GPUImage源码解读(四) - 图像锐化

边缘模糊是图像中经常出现的质量问题,由此造成的轮廓不清晰,线条不鲜明,使图像特征提取、识别和理解难以进行。

81530
来自专栏专知

谷歌上线机器学习速成课程:中文配音+中文字幕+完全免费!

【导读】3月1日,Google上线了AI学习网站——Learn with Google AI,并重磅推出了机器学习速成课程MLCC,该课程基于TensorFlo...

54490
来自专栏目标检测和深度学习

统计学入门需掌握的四点思想

虽然很多人经常接触统计,甚至读本科/硕士/博士时都学习过,但是当他们亲自处理数据时往往极易陷入懵逼状态,不知用哪种方法比较合适,不知如何选择更佳解决方案。这便使...

36190
来自专栏机器之心

学界 | 基于Apache MXNet,亚马逊NMT开源框架Sockeye论文介绍

293100
来自专栏牛客网

牛客网平均水平的算法工程师面经分享

记录下渣硕的秋招经历,粗略估算大约海投了59家,真正面了9家左右吧,笔试大概也做了几十家吧,目前的情况是拿到了苏宁(准备拒)、好未来(已拒)、百度、腾讯的off...

941110
来自专栏超智能体

好多人一辈子都没搞清什么是学习

老师和家长总是告诉我们要好好学习,可从没有人告诉过我们什么是学习,学习和记忆的区别又是什么。以至于很多人误以为记忆就是学习。更讽刺的是,市面上有一大堆学习方法,...

23440
来自专栏CVer

[计算机视觉] 入门学习资料

本文将介绍计算机视觉相关的经典书籍,顶级期刊/会议,在线学习课程,常用开源库和安利小工具等。 简介 计算机视觉(Computer Vision) 计算机视觉是...

1.3K180

扫码关注云+社区

领取腾讯云代金券