美国MIT研究人员揭示神经网络运行机制

美国麻省理工学院(MIT)官网报道该校在通用神经网络方面的研究进展可用于揭示神经网络的运行机制。理解神经网络的运行机制可以帮助研究人员增强其性能,并将从中获得的经验转用到其他应用。

神经网络的机器学习系统通过分析大量的训练数据来学习如何执行任务。在训练中,神经网络不断调整数千个内部参数,直到能够可靠地执行一些任务,例如识别数字图像中的对象,或将文本从一种语言翻译成另一种语言。但这些参数的最终值对揭示神经网络的运行机制用处不大。最近,计算机科学家开发了一些巧妙的技术,可以对特定神经网络的计算进行划分。

在新近召开的2017年自然语言处理实践方法大会上,来自MIT计算机科学与人工智能实验室的研究人员提出了一种新的通用技术,可以解释经过训练的神经网络是如何执行自然语言处理任务的,让计算机尝试解释以普通语言或自然语言编写的自由格式的文本(而不是结构化语言,如数据库查询语言)。

该技术适用于以文本为输入并以字符串为输出的任何系统,如自动翻译器。而由于其分析过程受到不同输入和输出结果的影响,它可以基于在线的自然语言处理服务进行工作,而无需访问底层软件。事实上,该技术可以与任意的黑盒文本处理系统一起使用,而无需考虑其内部机制。在实验中,研究人员展示了该技术能够识别出不同人类翻译员的特质。

(1)主题与变化

该技术类似于一种已经被用于分析执行计算机视觉任务(如对象识别)的神经网络的技术。有一类软件能够系统地扰乱或改变图像的不同部分,并将图像重新提交到对象识别器,从而确定哪些图像特征会得出哪些分类。但是,将这种方法用于自然语言处理并不容易。

有趣的是,为了产生用于测试黑盒神经网络的句子,MIT电气工程与计算机科学专业的研究生汤米·亚克拉(Tommi Jaakkola)和戴维·阿瓦瑞兹·莫里斯(David Alvarez –Melis)使用了一个黑盒神经网络。他们首先训练了一个用于压缩和解压缩自然句子的神经网络,即创建一些用于中间过程的、能够表示句子的紧凑数字形式,然后尝试将其重新扩展成其原始形式。在训练期间,依据解码器输出对编码器输入的忠实程度,编码器和解码器被同时得以评估。

神经网络本质上是概率性的:例如,向一个对象识别系统输入一幅小狗图像,它得出的结论可能是该图像有70%的概率表示狗,有25%的概率表示猫。类似地,Jaakkola和Alvarez-Melis的压缩句子神经网络为已解码语句中的每个单词提供了不同含义,同时给出了每种含义正确性的概率。

对任何句子,系统都可以生成一个与之密切相关的句子。Jaakkola和Alvarez-Melis将后者输入到黑盒自然语言处理器中,得到的结果是很长的一列输入输出对。利用研究人员的算法对这些输入输出对进行分析,可以确定哪些输入的何种变化对应于输出发生的改变。

(2)测试案例

研究人员将他们的技术应用于三种不同类型的自然语言处理系统。一个是词语发音推断系统;另一个是一组翻译器,包括两个自动翻译器和一个人工翻译器;第三个是一个简单的计算机对话系统,旨在为任意言论或问题提供合理的回答。不出所料的是,上述翻译系统的分析结果表明了输入与输出序列中单个词之间的依赖性很强。

原文发布于微信公众号 - 人工智能快报(AI_News)

原文发表时间:2017-09-18

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏CreateAMind

深入理解 RNN-神经图灵机(代码)

在写《深度学习与神经科学相遇》的过程中开始谈到了RNNs(Recurrent Neural Networks),我想很有必要暂停下来先对RNNs进行一些更深入的...

1493
来自专栏机器人网

七步之内成为Python机器学习的大师

线上的Python的机器学习资源如此丰富,从哪开始?如何修炼?这篇文章让你从零开始,七步之内成为Python机器学习的大师。

1051
来自专栏专知

谷歌上线机器学习速成课程:中文配音+中文字幕+完全免费!

【导读】3月1日,Google上线了AI学习网站——Learn with Google AI,并重磅推出了机器学习速成课程MLCC,该课程基于TensorFlo...

4419
来自专栏机器之心

前沿 | 首次大规模神经机器翻译架构分析结果出炉,LSTM 优于GRU

选自arxiv 作者:Denny Britz等 机器之心编译 参与:微胖、蒋思源、吴攀 这样的实验只有谷歌级别的公司才能处理的了。这篇文章对大型 NMT 模型训...

44410
来自专栏专知

用深度学习规划会议时间点——Skejul

【导读】你是不是常常烦恼找不到合适的会议时间?我也经常遇到这种问题。当前人们越来越忙,想要协调合适的会议时间是很困难的。本文中,数据科学家Favio Vázqu...

3475
来自专栏天天P图攻城狮

GPUImage源码解读(四) - 图像锐化

边缘模糊是图像中经常出现的质量问题,由此造成的轮廓不清晰,线条不鲜明,使图像特征提取、识别和理解难以进行。

5583
来自专栏量子位

干货分享 | 自然语言处理及词向量模型介绍(附PPT)

云脑科技机器学习训练营第二期,对自然语言处理及词向量模型进行了详细介绍,量子位作为合作媒体为大家带来本期干货分享~ 本期讲师简介 ? 樊向军 云脑科技核心算法工...

4677
来自专栏机器学习算法与Python学习

tweet情感分析流程

关键字全网搜索最新排名 【机器学习算法】:排名第一 【机器学习】:排名第二 【Python】:排名第三 【算法】:排名第四 前言 自然语言处理(NLP)中一个很...

3588
来自专栏牛客网

牛客网平均水平的算法工程师面经分享

记录下渣硕的秋招经历,粗略估算大约海投了59家,真正面了9家左右吧,笔试大概也做了几十家吧,目前的情况是拿到了苏宁(准备拒)、好未来(已拒)、百度、腾讯的off...

81711
来自专栏新智元

一文看懂系列之深入理解 RNN——神经图灵机(附代码)

【新智元导读】RNN无疑是深度学习的主要内容之一,增强型RNN大致可以分为四种,本文介绍第一种:神经图灵机。 背景介绍 在写《深度学习与神经科学相遇》的过程中开...

4037

扫码关注云+社区