技术 | AI研究的盲点:无解的神经网络内在逻辑

论人工神经网络内在逻辑的研究历史及现状。

伴随着大数据,人工智能(AI)在沉寂了多年之后,又迎来了新的高潮。在这场涉及大部分科学的革命中,人工神经网络释放了人工智能(AI)。但科学家们发现,这一关键技术暗含着一个问题:人工神经网络就是一个“黑匣子”。

我们都知道,无论人工神经网络有多么复杂,都可以将其看作是三部分:输入层、输出层和隐含层。其中,我们通过深度学习,对神经网络进行一层一层的叠加训练,以此来有效调整神经网络各级神经元的权重。但是,这里有一个问题,除去输入和输出,我们对隐含层发生了什么一无所知,即对神经网络内部逻辑行为无从认知。

华盛顿大学的研究生Marco Ribeiro使用过一种叫做反事实探测的方法来了解这个“黑匣子”。此方法具体就是通过给输入一点微小的变化,随即查看输出的变化,并记录这些变化。但是很显然,这一方法需要上千次的操作和尝试,而且无法帮助我们全面认识人工神经网络。

而Google的另一位计算机科学家Mukund Sundararajan设计了一种探测器,大大减少了输入。不同于Ribeiro采取的随机输入, Sundararajan的研究创新点是引入一个空白的参考。

首先,Sundararajan输入一个零排列的数组,随后让输入数据逐步向需要测试的目标数据转变,以此通过输出变化来反过来研究内在逻辑。这里值得注意的是,随着每一步的变化,科学家们就能看到它确切的变化轨迹,从而可以以此预测变化特征。但这依然不可信,预测的结果仍然是存在很大误差的。

对此,美国华盛顿州微软研究所计算机科学家RiCh Caruana融入广义加法模型(GAM)来对数据间的复杂关系进行处理。我们都知道,统计学中GAM就是一种基于线性回归,然后在一组数据中找到线性趋势的方法。Caruana增加了这一过程,他先利用机器学习来输出变化,随后将网络输出的数据输入到GAM,找出变化之间的相关性,以此来研究神经网络的内在逻辑。

除此之外,在图像研究领域,还有科学家利用生成式对抗网络(GAN)对神经网络进行研究,然而所有的这些努力都是尝试,普适的研究方法至今尚未得出。

现在,不仅科学家认识到这一问题的紧迫性,多国政府也意识到这一问题。根据欧盟的一项指示,明年所有有巨大影响力的公司需向公众解释其模型的内在逻辑。此外,美国军方的蓝天研究机构国防高级研究计划署也正在向一个称为“可解释AI”的新计划投入7000万美元。

Google的机器学习研究员Maya Gupta说,硅谷的研究人员们也在试图打开AI的“黑匣子”。除了运行后操作的准确性,所有人心中还有一个非常大的顾忌:因为不知道它在做什么,所以不确定能不能相信它。

伴随着人工智能(AI)应用的蓬勃之势,出于安全隐患的考虑,神经网络内在逻辑的这一“盲点”确实急需规避。

原文发布于微信公众号 - 镁客网(im2maker)

原文发表时间:2017-07-10

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏ATYUN订阅号

研究人员正尝试用AI替代动物测试,但准确率欠佳

仅在欧洲,2011年最常进行的九项动物试验有57%的几率导致动物致命。几十年来,动物权利积极分子一直抗议这一有争议的做法,这一点也不足为奇。

11460
来自专栏大数据文摘

深度 | 深度学习并不是AI的未来

18540
来自专栏极客说

【极客说直播第三期回顾】AI技术专家教你从零到一学习计算机视觉技术

本文整理自腾讯云AI和大数据中心AI技术专家-叶聪于11月27日在极客说上的精彩分享。

9.6K70
来自专栏新智元

【干货】生成对抗式网络创始人Quora答疑

【新智元导读】还记得不久前LeCun在Quora答题时说的,他最激动的深度学习进展是“生成对抗网络”吗?生成对抗网络的提出者Ian Goodfellow日前也在...

369120
来自专栏人工智能头条

ICML进行时|一文看尽获奖论文及Google、Facebook、微软、腾讯的最新科研成果

【导读】 ICML ( International Conference on Machine Learning),国际机器学习大会如今已发展为由国际机器学习学...

16820
来自专栏人工智能头条

AAAI 前主席 Thomas G. Dietterich:如何构建强健的人工智能

10620
来自专栏量子位

吴恩达的新深度学习课程什么样?我们试听了一下 | 附视频

问耕 发自 凹非寺 量子位 报道 | 公众号 QbitAI 注册之后,可以获得七天免费试听。不过在这之前,你首先需要输入一张信用卡/储蓄卡,或者Paypal账户...

41970
来自专栏AI科技大本营的专栏

反欺诈中所用到的机器学习模型有哪些?

作者 | 微调(知乎ID微调,普华永道高级数据科学家) 反欺诈方向的实际应用很多,我有做过保险业反欺诈和零售快消业的欺诈检测,抛砖引玉的谈谈反欺诈项目的"道"和...

51540
来自专栏AI科技评论

智能体的白日梦,谷歌大脑又出来PR文了?

智能体能否在梦中学习?Yes! 白日梦是人类的专属?No! 这是谷歌大脑的又一篇 PR 文章吗?难说~ AI 科技评论按:继前段时间在 arxiv 上贴出《on...

30660
来自专栏ATYUN订阅号

一张图片是否被PS过?Adobe利用AI来检测图像真实性

PS一张图片越来越复杂,效果也越来越难以辨别,但Adobe Systems可以使用AI来检测PS的时间。

14330

扫码关注云+社区

领取腾讯云代金券