再见AI黑匣子:研究人员教会AI进行自我解释


新智元编译

来源:thenextweb

作者:艾霄葆

【新智元导读】AI决策过程的黑匣子问题一直是AI领域最大的担忧之一,但近期黑匣子决策问题似乎被破解。来自加州大学伯克利分校、阿姆斯特丹大学、Facebook AI Research团队的研究人员创建出一个AI自我解释模型,该模型可使AI在回答问题时指出问题对应的证据,在回答相关图像问题时,其能够为其决策提供自然语言理由并指出图像显示证据。

来自加州大学伯克利分校、阿姆斯特丹大学、Facebook AI Research团队的研究人员创建出一个AI自我解释模型,该模型可使AI在回答问题时指出问题对应的证据,在回答相关图像问题时,其能够为其决策提供自然语言理由并指出图像显示证据。

“黑匣子”变得透明,这是一件大事。

在许多环境中,深度模型既有效又可解释;先前可解释的模型是单峰模型,提供了基于图像的注意权重的可视化或基于文本的事后理由的生成。

这次的研究提出了一种多模式的解释方法,并且认为这两种模式提供了互补的说明性优势。

团队收集两个新的数据集来定义和评估这个任务,并提出一个新的模型,可以提供联合文本理性和可视化生成。我们的数据集定义了活动识别任务(ACT-X)和视觉问题解答任务(VQA-X)的分类决策的视觉和文本理由。

在数量上表明,使用文本解释进行培训不仅可以产生更好的文本理由模型,还可以更好地定位支持决策的证据。我们还定性地展示了视觉解释比文本解释更具洞察力的情况,反之亦然,支持我们的论点:多模式解释模型提供了超越单峰方法的显着优势。

VQA-X定性结果:对于每个图像,PJ-X模型提供了答案和理由,并指出了该理由的证据。

弄清楚为什么一个神经网络做出它所做的决定是人工智能领域最大的担忧之一。正如它所称的那样,黑盒问题实际上使我们不能相信AI系统。

像人类一样,它可以“指出”它用来回答问题的证据,并且通过文本可以描述它如何解释证据。它的开发旨在回答那些需要九岁小孩平均智力的问题。

这是人们第一次创建了一个可以用两种不同方式解释自己的系统:

我们的模型是第一个能够为决策提供自然语言理由并指向图像中的证据的人。

研究人员开发了AI来回答关于图像的简单语言查询。它可以回答关于给定场景中的对象和动作的问题。它通过描述它看到的内容并突出显示图像的相关部分来解释它的答案。

它并不总是让事情正确。在实验过程中,人工智能感到困惑,无法确定一个人是否在微笑,也无法分辨出一个人在使用吸尘器的人和一个正在使用吸尘器的人之间的区别。

但是,这是一个重点:当电脑出现问题时,我们需要知道原因。

为了达到任何可衡量的成熟度,AI的领域需要调试,错误检查和理解机器决策过程的方法。神经网络发展并成为我们数据分析的主要来源时尤其如此。

为人工智能展示其工作并以外行人员的角度解释自己,这是一个巨大的飞跃,可以避免每个人似乎都很担心的机器人启示。

论文地址:https://arxiv.org/pdf/1802.08129.pd

原文发布于微信公众号 - 新智元(AI_era)

原文发表时间:2018-03-01

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏社区的朋友们

个性化资讯推荐算法 ( 下 )

头条为何能取得成功?很多人会说是头条的个性化推荐技术做得好,个人认为其实不尽然。本文罗列了相关的个性化推荐技术,特别是资讯推荐常用的算法,带大家从“内行”的角度...

1.4K0
来自专栏AI科技大本营的专栏

机器学习的四十三条经验法则——来自谷歌的ML工程最佳实践

本文主要围绕的是谷歌公司(Google)在机器学习方面的经验,旨在为那些具备一定机器学习基础的读者提供最佳的经验法则。文章向读者展现机器学习经验法则的方式,与谷...

3076
来自专栏AI科技大本营的专栏

量子计算+人工智能——这才是未来科技的最大热门!

编译 | AI科技大本营 参与 | shawn 编辑 | 明明 90年代初,当卫奇塔州立大学(Wichita State University)的物理学教授El...

3957
来自专栏新智元

【DeepMind最新Nature论文】探索人类行为中的强化学习机制

【新智元导读】DeepMind与来自普林斯顿、NYU、达特茅斯学院、UCL和哈佛大学的研究人员合作,探索了人类行为中的强化学习,为开发智能体强化学习提供了新的策...

2604
来自专栏数据科学与人工智能

【应用】信用评分:第2部分 - 信用评分卡建模方法

作为数据科学家,我的责任是设计和开发一个准确,有用和稳定的信用风险模型。我还需要确保其他数据科学家和业务分析师能够评估我的模型或重复相同的步骤并产生相同或类似的...

1063
来自专栏人工智能头条

美丽联合机器学习应用探索:用更强大的模型,干净解决问题

1572
来自专栏ATYUN订阅号

滑铁卢大学与DarwinAI开发离线语音模型,准确率可达97%

通常,语音识别的深度学习方法依靠强大的远程服务器进行大量处理。但是,滑铁卢大学和创业公司DarwinAI的研究人员声称已经开创了一种设计语音识别网络的策略,该策...

661
来自专栏AI派

个性化推荐系统中的绕不开的经典问题有哪些

推荐系统从诞生到现在,伴随产生了很多的问题,有一些问题有较好的解决方案,但是有的仍然没有通用的解决方案。介绍这些问题之前,先来介绍下推荐系统的预测手段。

3013
来自专栏ml

Scan Order in Gibbs Sampling: Models in Which it Matters and Bounds on How Much(笔记)

    这篇文章的作者通过对当前的在线新闻和社交媒体平台新闻的观察,基于:“社交媒体用户经常通过学习朋友分享的观点来更新自己对某一特定话题的看法” ,  提出了...

1123
来自专栏AI科技大本营的专栏

别瞎搞!对自己定位不准,看再多机器学习资料也是白搭(附资源)

找资料也是门学问,别抓着机器学习就一拥而上。 作者 | Jason Brownlee 编译 | AI100(ID:rgznai100) 来看个小故事:机器学习火...

3048

扫码关注云+社区