IBM与哈佛合作开发工具解决AI翻译中的黑箱问题

编译：chux

出品：ATYUN订阅号

近年来，由于深度学习和神经网络的进步，机器翻译得到了极大的进步。然而，神经网络的问题在于人们不知道它们内部发生了什么，这意味着很难解决它们的错误。

IBM和哈佛大学的研究人员开发了一种新的调试工具来解决这个问题。该工具于上周在柏林举行的IEEE视觉分析科学与技术大会上发表，该工具可以在AI将一系列单词从一种语言翻译成另一种语言时，使决策过程可视化。

这个工具被称为Seq2Seq-Vis，是旨在解释深度神经网络决策的几项努力之一。众所周知的“黑箱问题”，即神经网络的不透明性已成为AI行业面临的严峻挑战之一，尤其是当深度学习进入更关键的领域时。

Seq2Seq-Vis专注于“序列到序列”模型，即大多数现代机器翻译系统中使用的AI架构。“序列到序列模型可以学习将任意长度的输入序列转换成任意长度的输出序列，”IBM研究院的科学家Hendrik Strobelt说道，此外，除了语言翻译外，序列到序列也用于其他领域，如问答、长文本摘要和图像字幕。这些模型在大多数任务中都是非常强大和先进的。

简而言之，序列到序列的转换模型通过几个神经网络运行源字符串，将其映射到目标语言并优化输出以确保它在语法和语义上正确。神经网络的引入大大改善了结果，但也使应用程序更加复杂。

可视化机器翻译

Stobelt将传统语言翻译软件的调试比作使用电话簿。无论什么时候出错，你都可以看看这本书，找出产生错误信息的规则，你也可以修正这个规则，问题是，对于这些高度复杂的、端到端训练有素的网络，你无法轻松地创建这样一本书。所以团队在想什么可以代替这样的东西。这实际上推动了Seq2Seq-Vis的目标。

Stobelt向我们展示了该工具如何在其演示网站上运行，该网站有一个德语到英语翻译出错的例子。句子“die längsten reisen fangen an , wenn es auf den straßen dunkel wird”应该被翻译成“最长的旅程在街道变暗时开始”，但AI模型将其翻译为“最长的旅行从走上街头时开始”。

Seq2Seq-vis创建序列到序列翻译过程的不同阶段的视觉表示。这使用户能够检查模型的决策过程并找出发生错误的位置。

Seq2Seq-Vis还显示输入和输出句子中的每个单词如何映射到AI模型的神经网络中的训练示例。“解释中最复杂的部分是如何将决策与训练样例联系起来，”Stobelt说，“训练数据描述了模型的世界。与训练数据所呈现的相比，该模型对世界的了解更多。因此，在调试模型时查看训练数据是有意义的。”

例如，通过使用可视化工具，用户可以确定错误是否是由于给予编码器和解码器的错误训练示例，对源语言和目标语言中的句子进行分类的神经网络；“注意模型”中的错误配置，即连接编码器和解码器网络的组件；或者是“定向搜索”中的一个问题，AI模型对翻译模型的输出进行了细化。

校正序列到序列模型

Seq2Seq-Vis并不是唯一试图解释人工智能决策的项目。解决黑箱问题对AI行业来说变得越来越重要，并吸引了多家学术机构，大型科技公司和国防部的研究机构DARPA。IBM研究人员最近还提出了一项单独的计划，旨在使用情况说明书提高AI的透明度。

Seq2Seq-Vis需要访问有关其要调试的AI模型的训练数据和其他内部细节。相比之下，一些其他可解释的AI方法只需要访问神经网络的输出来解释他们的决定。

然而，虽然大多数其他方法仅关注解释AI决策，但Seq2Seq-Vis允许用户对其模型应用更正。Stobelt说，“双方都能够实现——我们能够进行可视化，但我们也能够改变底层后端，”这就是Stobelt所说的“假设测试”。

例如，用户可以选择并更正输出序列中的单词，或者他们可以重新配置注意模型映射输入和输出位置的方式。

但是使用Seq2Seq-Vis并不适合翻译应用程序的最终用户。它需要有关序列到序列模型如何工作的一般知识。这当然是有道理的，因为正如Stobelt解释的那样，该工具针对的是AI模型的架构师和训练师。

那么谁对Seq2Seq-Vis感兴趣？Stobelt表示，“我们目前正在讨论如何在IBM内部使用它。但源代码是开源的，所以我可以想象很多公司都希望加入。”

演示：seq2seq-vis.io/