美国MIT研究人员揭示神经网络运行机制

美国麻省理工学院(MIT)官网报道该校在通用神经网络方面的研究进展可用于揭示神经网络的运行机制。理解神经网络的运行机制可以帮助研究人员增强其性能,并将从中获得的经验转用到其他应用。

神经网络的机器学习系统通过分析大量的训练数据来学习如何执行任务。在训练中,神经网络不断调整数千个内部参数,直到能够可靠地执行一些任务,例如识别数字图像中的对象,或将文本从一种语言翻译成另一种语言。但这些参数的最终值对揭示神经网络的运行机制用处不大。最近,计算机科学家开发了一些巧妙的技术,可以对特定神经网络的计算进行划分。

在新近召开的2017年自然语言处理实践方法大会上,来自MIT计算机科学与人工智能实验室的研究人员提出了一种新的通用技术,可以解释经过训练的神经网络是如何执行自然语言处理任务的,让计算机尝试解释以普通语言或自然语言编写的自由格式的文本(而不是结构化语言,如数据库查询语言)。

该技术适用于以文本为输入并以字符串为输出的任何系统,如自动翻译器。而由于其分析过程受到不同输入和输出结果的影响,它可以基于在线的自然语言处理服务进行工作,而无需访问底层软件。事实上,该技术可以与任意的黑盒文本处理系统一起使用,而无需考虑其内部机制。在实验中,研究人员展示了该技术能够识别出不同人类翻译员的特质。

(1)主题与变化

该技术类似于一种已经被用于分析执行计算机视觉任务(如对象识别)的神经网络的技术。有一类软件能够系统地扰乱或改变图像的不同部分,并将图像重新提交到对象识别器,从而确定哪些图像特征会得出哪些分类。但是,将这种方法用于自然语言处理并不容易。

有趣的是,为了产生用于测试黑盒神经网络的句子,MIT电气工程与计算机科学专业的研究生汤米·亚克拉(Tommi Jaakkola)和戴维·阿瓦瑞兹·莫里斯(David Alvarez –Melis)使用了一个黑盒神经网络。他们首先训练了一个用于压缩和解压缩自然句子的神经网络,即创建一些用于中间过程的、能够表示句子的紧凑数字形式,然后尝试将其重新扩展成其原始形式。在训练期间,依据解码器输出对编码器输入的忠实程度,编码器和解码器被同时得以评估。

神经网络本质上是概率性的:例如,向一个对象识别系统输入一幅小狗图像,它得出的结论可能是该图像有70%的概率表示狗,有25%的概率表示猫。类似地,Jaakkola和Alvarez-Melis的压缩句子神经网络为已解码语句中的每个单词提供了不同含义,同时给出了每种含义正确性的概率。

对任何句子,系统都可以生成一个与之密切相关的句子。Jaakkola和Alvarez-Melis将后者输入到黑盒自然语言处理器中,得到的结果是很长的一列输入输出对。利用研究人员的算法对这些输入输出对进行分析,可以确定哪些输入的何种变化对应于输出发生的改变。

(2)测试案例

研究人员将他们的技术应用于三种不同类型的自然语言处理系统。一个是词语发音推断系统;另一个是一组翻译器,包括两个自动翻译器和一个人工翻译器;第三个是一个简单的计算机对话系统,旨在为任意言论或问题提供合理的回答。不出所料的是,上述翻译系统的分析结果表明了输入与输出序列中单个词之间的依赖性很强。

原文发布于微信公众号 - 人工智能快报(AI_News)

原文发表时间:2017-09-18

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏大数据文摘

在等吴恩达深度学习第5课的时候,你可以先看看第4课的笔记

1583
来自专栏新智元

周志华组最新论文提出“溯因学习”,受玛雅文字启发的神经逻辑机

来源:arXiv 作者:闻菲,刘小芹 【新智元导读】南京大学周志华教授等人在最新的一篇论文中提出了“溯因学习”(abductive learning)的概念,将...

3899
来自专栏CSDN技术头条

8个深度学习方面的最佳实践

【摘要】本文介绍了作者在深度学习的课程中学到的八个非常有用的技巧。以下是译文。 我很开心自己在过去的2017年中在人工智能领域获得的成就。我也学了不少数学方面的...

2228
来自专栏AI研习社

从原理到代码:大牛教你如何用 TensorFlow 亲手搭建一套图像识别模块 | AI 研习社

自 2015 年 11 月首次发布以来,TensorFlow 凭借谷歌的强力支持,快速的更新和迭代,齐全的文档和教程,以及上手快且简单易用等诸多的优点,已经在图...

4928
来自专栏AI研习社

手把手教你从零起步构建自己的图像搜索模型

很多的产品是基于我们的感知来吸引我们的。比如在浏览服装网站上的服装,寻找 Airbnb 上的假期租房,或者领养宠物时,物品的颜值往往是我们做决定的重要因素。想要...

863
来自专栏机器之心

学界 | 抛弃黑箱,斯坦福大学与Facebook提出程序生成式图像推理模型

选自arXiv 作者:Justin Johnson等 机器之心编译 参与:李泽南 去年 12 月,斯坦福大学联合 Facebook 推出了一个用于组合式语言和初...

2705
来自专栏机器之心

斯坦福博士韩松毕业论文:面向深度学习的高效方法与硬件

3219
来自专栏机器之心

想入门设计卷积神经网络?这是一份综合设计指南

1434
来自专栏量子位

0基础怎样理解深度学习的工作原理?做个票价预测工具就懂了

原作:Radu Raice 安妮 编译自 Medium 量子位 出品 | 公众号 QbitAI 这篇文章颇!具!人!气! 软件工程专业的学生Radu Raice...

2844
来自专栏人工智能头条

鸡蛋煎的好不好?Mask R-CNN帮你一键识别

843

扫码关注云+社区