理解深度学习的局限性

大数据文摘作品,转载要求见文末

作者 | THINKMARIYA

编译 | 张礼俊,曹翔

人工智能空前火热。许多公司已经用IBM Watson系统取代了工人;人工智能算法甚至能比医生更准确地诊断病人。新的人工智能创业公司如雨后春笋,宣称可以使用机器学习来解决你所有个人问题和商业问题。

许多平时看似普通的物品,像是果汁机、Wi-Fi路由器,做广告时都说自己由人工智能驱动。又比如智慧书桌,不仅能记住你不同时段所需要的高度设置,还能帮你叫外卖。

许多喧嚣人工智能的报道其实是由那些从没亲手训练实现过一个神经网络的记者,或是那些还没解决任何实际商业问题却想招募天才工程师的初创公司写的。怪不得大众会对人工智能能做什么不能做什么有那么多误解。

不可否认,深度学习让人异常兴奋

神经网络早在六十年代就被发明,但最近大数据和计算能力的提升才使它在实际应用中取得效果。已经出现了一个名为“深度学习”的新学科,它可以应用复杂的神经网络架构,比以前更准确地对数据模型进行建模。

深度学习成果斐然。如今,深度学习可以识别图像和视频中的物体,可以将语音转化成文字,甚至比人做得更好。谷歌将谷歌翻译的结构替换成了神经网络,现在机器翻译的表现已经非常接近人类。

深度学习的实际应用同样让人兴奋。计算机可以比政府农业机构更准确地预测农作物产量;在诊断癌症上,甚至比最优秀的医师更加准确。

美国国防部高等研究计划署的主管John Launchbury描述了人工智能的三个浪潮:

1.人工选择的知识表达,或者像是IBM深蓝、沃森这样的专家系统。

2.统计学习,包括机器学习和深度学习。

3.内容适应,涉及到用稀疏数据给现实世界的现象构建可靠可解释的模型,像人类一样。

作为人工智能第二波的一部分, 深度学习算法效果很好,这是因为Launchbury所说的流形假设。简单来说,这是指出了在较低维度下可视化时,不同类型的高维自然数据如何趋于聚集和变形。

通过数学操作和分离数据块,深度学习能够区分不同的数据类型。虽然神经网络可以取得精确的分类及预测能力,这些本质上源于Launchbury所说的“增强版的电子表格”。

深度学习也有深层问题

最近湾区人工智能创业者会议上,Francois Cholle强调说深度学习仅仅只是比之前的统计和机器学习方法更强大的模式识别方法。 Cholle是谷歌人工智能研究员,也是发明了深度学习Keras的著名开发者。他认为人工智能最关键的问题是抽象和推理。现如今的监督学习和强化学习需要太多数据,无法像人一样做推理规划,只是在做简单的模式识别。

相反,人类可以从非常少数的例子中学习,可以安排长期的计划,并且能够形成一种情形的抽象模型,并将这些模型用到更多不同的情况之中。

即便让深度学习算法学会非常简单的人类行为也是一件费劲的事! 想想看当你走在路上想要躲开撞向你的车时,如果你想通过监督学习决定下一步要怎么做,你需要大量标记了车辆情景和应该采取的行动的数据,像是“停止”或者“移动”。然后你要训练一个神经网络去学习情景和应该采取的行动之间的映射。

如果用强化学习的方式,给你的算法一个目标,然后让它自行决定最佳的行动是什么,在计算机学会不同道路情况下躲开汽车之前,可能早已经被车撞死几千次了

Chollet提醒人们不可能仅仅通过加强当今的深度学习算法来取得通用智能。

人类只要别人说一次就知道要避开车。我们有能力从少数例子来泛化我们学到的知识,并且可以想象从被车撞到后会有多糟糕。我们大多数人很快就能学会毫发无损的躲开汽车。

当神经网络在大规模数据上取得统计意义明显的成果时,个体数据上却是不可靠的,并且常常会犯人们不会犯的错误,比如把牙刷预测成棒球棍。

你的结果只会和你的数据一样好。给神经网络不准确或者不完整的数据只会得到错误的结果。这些结论既很尴尬,还很危险!两次公关危机中,谷歌错误得把黑人识别成大猩猩,微软的系统仅仅用推特的数据训练几小时后就学会种族歧视,女性歧视的言论了。

我们的输入数据中潜藏着不希望的偏差。谷歌庞大的词向量系统建立在谷歌新闻的三百万条新闻之上。数据集会自己做出像父亲是医生母亲是护士的联系,反映了我们语言中的性别偏见。波士顿大学的研究人员Tolga Bolukbasi借助了亚马逊Mechanical Turk众筹平台,利用人们的评分来尝试去除这些偏见的联系。

Bolukbasi认为这个思路是至关重要的,因为词向量不仅会反映成见,还会放大成见。如果医生更多的和男性联系在一起,那么算法会优先将男性工作申请者匹配到医师的职位上去。

最后,生成式对抗性网络的发明人Ian Goodfellow展示了神经网络会被反例给欺骗。给图像做一些人眼看不出来的操作之后,复杂的攻击者欺骗了神经网络使其无法正确识别出物体。

深度学习之后是什么?

我们如何克服深度学习的局限性并通向通用智能呢?Chollet最早的计划是从数学证明领域开始使用超越人类的模式识别,比如深度学习来帮助增强搜索和形式系统。

自动定理证明器通常暴力搜索每一种可能的情形,实际应用中很快就会遇到组合爆炸的问题(搜索时间指数性上涨)。在深度数学项目中,Chollet和他的同事使用深度学习来协助定理搜索的过程,模拟数学家关于哪些引理会是有用的直觉。

另一种方式是开发更易于解释的模型。手写识别中,神经网络通常要有成千上万的数据才能达到还不错的分类结果。相比着眼于像素,Launchbury认为生成式模型可以学会任意一个文字的笔划,然后用这些笔划信息来区分相似的数字,比如9和4。

卷积神经网络的创始人兼脸书人工智能研究总监Yann LeCun提出了一种基于能量的模型来克服深度学习中的局限性。通常而言,我们只会训练神经网络产生一个输出,像是一个图像的标签或者一句话的翻译。LeCun的基于能量的模型则给出了所有可能输出的集合,比如说一句话所有可能的翻译方式,以及每种翻译方式对应的评分。

深度学习之父Geoffrey Hinton想用块状结构 来取代神经网络中的神经元结果。他相信这样能更准确地反映人类大脑的生理学模型。生物进化必然已经发现了一种能高效地在初级神经感知回路进行特征调整的方式,这些调整会对后续神经回路特征表达非常有用。Hinton希望块状的神经网络结构能够更有效的应对之前Goodfellow提出的对抗训练。

也许所有这些克服深度学习局限性的方法都有自己的价值,也许都没有。只有时间和人工智能领域的持续投入才能告诉我们答案。

原文发布于微信公众号 - 大数据文摘(BigDataDigest)

原文发表时间:2017-04-26

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏人工智能头条

最强大脑第二场战平听音神童!百度大脑小度声纹识别技术算法解析

21560
来自专栏AI科技评论

深度|MIT人工智能算法披露:我们如何用 200 万张图片预见 1.5 秒后的世界?

我们生活在物理世界里,但往往没有深入思考这样一个问题:自己是如何迅速理解周边事物的? 人类能够对背景的变化、事物之间的相互关联等等做出非常自然的反应。而且,这些...

356120
来自专栏机器学习算法与Python学习

一篇文章讲清楚人工智能、机器学习和深度学习的区别与联系

关键字全网搜索最新排名 【机器学习算法】:排名第一 【机器学习】:排名第一 【Python】:排名第三 【算法】:排名第四 人工智能的浪潮正在席卷全球,诸多词汇...

47370
来自专栏人工智能头条

深度神经网络的灰色区域:可解释性问题

22220
来自专栏AI研习社

谷歌开启 Naturalist 2018 挑战赛,大型物种分类技术有望突破

雷锋网 AI 研习社按:计算机视觉技术从 70 年代到现在,40 多年时间得到迅速发展,许多计算机视觉的应用出现在了生产生活领域。尤其是到了 2012 年,基于...

410110
来自专栏新智元

今日头条李磊:用机器学习做自然语言理解,实现通用 AI 仍需解决三大难题(33PPT下载)

1 新智元原创 【新智元导读】10月18日,在中国自动化学会与新智元联合主办的 2016世界人工智能大会上,今日头条科学家、头条实验室总监李磊博士受邀发表...

45360
来自专栏新智元

【可解释AI重大突破】DeepMind 构建心智理论神经网络让机器互相理解

DeepMind近日发表的最新研究提出“机器心智理论”(Machine Theory of Mind),启发自心理学中的“心智理论”,研究者构建了一个心智...

35190
来自专栏机器之心

李飞飞高徒Andrej Karpathy加盟特斯拉,担任人工智能与自动驾驶视觉总监

选自TechCrunch 机器之心编译 今日,特斯拉宣布前 Open AI 研究员、斯坦福大学博士生 Andrej Karpathy 担任特斯拉人工智能和自动...

28980
来自专栏AI科技大本营的专栏

AI是万能的吗?当前AI仍面临的难题是什么?

【导读】谈到人工智能(特别是计算机视觉领域),大家关注的都是这一领域不断取得的进步,然而人工智能到底发展到什么程度了?AI 已经成为万能的了吗?Heuritec...

11720
来自专栏量子位

旷视首席科学家孙剑:计算机视觉的变革和挑战 | 北大AI公开课笔记

周三晚,北京大学“人工智能前沿与产业趋势”第三讲,本期旷视研究院院长孙剑授课主题为“计算机视觉的变革与挑战”,分享了计算机视觉和深度学习领域的一些研究进展。

13050

扫码关注云+社区

领取腾讯云代金券