专栏首页AI科技大本营的专栏开源 | IBM、哈佛共同研发:Seq2Seq模型可视化工具

开源 | IBM、哈佛共同研发:Seq2Seq模型可视化工具

作者 | Ben Dickson

译者 | 刘旭坤

编辑 | Jane

出品 | AI科技大本营

近年来随着深度学习和神经网络技术的发展,机器翻译也取得了长足的进步。神经网络结构越来越复杂,但我们始终无法解释内部发生了什么,“黑箱问题”一直困扰着我们。我们不清楚程序在翻译过程中如何进行决策,所以当翻译出错时也很难改正。随着深度学习在各行各业中的广泛应用,深度学习的不可解释性已经成为其面临的严峻挑战之一。

今年,在德国柏林举办的 IEEE VAST 可视化分析大会上,来自 IBM 和哈佛大学的研究人员展示了为解决翻译中的 AI 黑盒问题所开发的调试工具。这款名为 Seq2Seq-Vis 的工具能将人工智能的翻译过程进行可视化,方便开发人员对模型进行调试。

Seq2Seq-Vis 主要针对机器翻译中最常用的 Seq2Seq 模型。这一模型能够将任意长度的序列,也就是原文的句子,映射到目标语言。除了机器翻译任务,在自动问答、文本摘要等任务中也都主要应用 Seq2Seq 模型。

简单来说,Seq2Seq 模型在机器翻译中的工作原理就是把源语言映射到目标语言,得到了目标语言的序列(也就是初步翻译完的句子)后再进行优化,保证语法和语义上的正确。虽然使用神经网路模型后,机器翻译的结果得到了很大的提升,但同时也非常复杂。

可视化机器翻译的过程

研究人员称研发 Seq2Seq-Vis 的初衷是想有一个类似于基于规则的传统翻译软件中的规则表,这样开发人员可以通过在规则表中对照得到错误信息就可以很简单地修改模型。

Seq2Seq-Vis.io 网站上给出了一个从德语到英语的演示程序。德语的“die längsten reisen fangen an , wenn es auf den straßen dunkel wird.”翻译成英语应该是“The longest journeys begin when it gets dark in the streets.”,但被机器翻译成了“the longest travel begins when it gets to the streets.”Seq2Seq-Vis 以可视化的方式呈现出了序列到序列模型翻译的每一步,这样用户就能像查找规则表一样来找出机器翻译翻译错误的原因。

Seq2Seq-Vis 另一个很有用的功能是它能找出与某个字词相关的训练集,这也是解决 AI 黑盒问题的一大难点。其实一个机器学习模型除了训练集一无所知,所以要解决机器翻译中的错误最终都要回到训练集中去。

将机器翻译过程可视化,用户就能确定翻译出错到底是编码器解码器使用的训练样本出了错还是注意力模型的设置或者其他环节出错了。

更正序列到序列模型

Seq2Seq-Vis 并不是第一个试图解决 AI 黑盒问题的工具,之前有很多大公司和研究机构都有进行尝试,甚至 IBM 自己也在这上面下过功夫。事实上,很多类似的工具需要的信息比 Seq2Seq-Vis 更少,比如有的工具只需要神经网络的输出就可以,而 Seq2Seq-Vis 还需要训练集,整个模型的架构和设置。但 Seq2Seq-Vis 却是第一个既能可视化模型的决策过程也能让开发人员直接修改模型的工具。开发人员可以通过可视化的方式对模型的决策过程进行修改并观察反馈来实现探索式的调试,比如修改输出序列的单词或者对注意力模型的配置进行修改。

听起来是不是很酷,不过 Seq2Seq-Vis 的目标群体是模型架构师或工程师而非机器翻译的终端用户。因为要让这一工具真正发挥作用需要用户对“序列到序列”模型有较为深入的了解。虽然目标这一工具还只是应用在IBM的内部项目中,但它是开源的,所以大家都可以来试试。

  • 项目地址:http://seq2seq-vis.io
  • Github地址:https://github.com/HendrikStrobelt/Seq2Seq-Vis
  • 原文地址: https://venturebeat.com/2018/11/01/ibm-harvard-develop-tool-to-tackle-black-box-problem-in-ai-translation/

本文由AI科技大本营翻译,转载请联系微信1092722531

本文分享自微信公众号 - AI科技大本营(rgznai100)

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2018-11-30

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • ​AI 面试“泛滥”的时代,HR该如何甄别真假“AI”?

    在互联网、物联网蓬勃发展的中国,AI在商业化领域的运用,大家并不陌生。但AI在人力资源领域的发展前景如何?这是一个复杂且相对陌生的话题,也没有一个标准的答案。

    AI科技大本营
  • AI一分钟 | 传锤子和360手机正洽谈合并;吴恩达Woebot Labs完成800万美元融资;吴甘沙:AI技术中国排第二没问题

    整理 | 阿司匹林 一分钟AI 传360手机和锤子科技正在洽谈合并,目前尚未达成最终交易 IBM中国研究院研究总监称,AI统计数据发现夫妻俩一起生活可以降低心梗...

    AI科技大本营
  • NLP机器翻译深度学习实战课程基础 | 深度应用

    深度学习用的有一年多了,最近开始 NLP 自然处理方面的研发。刚好趁着这个机会写一系列 NLP 机器翻译深度学习实战课程。

    AI科技大本营
  • 没想象中那么难,三分钟上手搞定一张可视化大屏

    可视化分析主要应用于数据量比较大的关联分析,从各个指标和维度展开用各种统计图和地图,辅之动态效果,使得数据分析结果更加直观有效,让复杂的工作智能化。

    用户7220666
  • 一分钟告诉面试官TIME_WAIT

    [FIN_WAIT1] :FIN_WAIT1和FIN_WAIT2均为等待对方的FIN报文。两者区别为,当SOCKET在ESTABLISHED状态时,想主动关闭连...

    我是程序员小贱
  • 从零构建以太坊(Ethereum)智能合约到项目实战——学习笔记4

    酷我音乐-》方法/行为:启动酷我音乐、关闭酷我音乐、搜素歌曲、下一首歌、上一首歌、暂停、调节音量、播放

    墨文
  • 美国国防部正在试验软件定义网络 进展十分有限

    软件定义网络(software-defined networking)有很大的希望提高设置和控制网络的效率,将引发信息技术的这一关键方面发生根本性的改变。虽然国...

    静一
  • 【干货】pandas相关工具包

    Pandas是python的一个数据分析包,最初由AQR Capital Management于2008年4月开发,并于2009年底开源出来,目前由专注于Pyt...

    致Great
  • 三次简化一张图:一招理解LSTM/GRU门控机制

    近些年,深度学习模型在处理有非常复杂内部结构的数据时十分有效。例如,图像数据的像素之间的 2 维空间关系非常重要,CNN(convolution neural ...

    机器之心
  • 使用容器一键部署nextcloud

    安装完后,并不能使用,需要在容器内安装需要的组件。具体见:https://github.com/e-alfred/ocdownloader

    超级大猪

扫码关注云+社区

领取腾讯云代金券