深度学习到瓶颈期了吗?

与早期阶段的所有技术一样,深度学习必须克服许多严峻挑战

深度学习机器学习的进步都起到了最近AI成就了的核心作用,让计算机进行练习,通过消化和分析大量的数据,而不用明确地编程,就可以达到目的。在过去的两年里,谷歌以深度学习为基础的AlphaGo击败了世界顶级的围棋选手,令大多数人工智能专家感到惊讶,他们认为需要5到10年才能实现这样一个里程碑。同样,当谷歌在2016年底转向其新的深度学习AI系统时,它大大地提高了机器翻译的质量。

在最近的一篇文章“ 深度学习:批判性评价”,作者和纽约大学教授加里·马库斯对深度学习进行了认真的评估。他认为,尽管在过去五年取得了相当大的成就,但深度学习可能正面临瓶颈期,多伦多大学教授杰弗里·辛顿Geoffrey Hinton),即深度学习之父父,也有这种观点。

深度学习是一种强大的统计技术,用于使用大型训练数据集和多层AI神经网络对模式进行分类。它本质上是一种机器学习数据的方法,这些数据通过生物大脑学习解决问题的方式进行了松散的建模。每个人工神经单元连接到许多其他这样的单元,并且可以基于用于训练系统的数据来统计地增强或减少链路。多层网络中的每个连续层使用前一层的输出作为输入。

“原则上,给定无限数据,深度学习系统足以表示任何给定输入集和一组相应输出之间的任何有限确定性”映射“,但在实践中是否可以学习这样的映射取决于许多因素...... “马库斯写道。“该技术擅长解决封闭式分类问题,其中必须将大量潜在信号映射到有限数量的类别,因为有足够的数据可用且测试集非常类似于训练集。但偏离这些假设可能会导致问题; 深度学习只是一种统计技术,所有的统计技术都会偏离它们的假设......在实践中,大数据集的结果往往非常好,广泛的潜在映射。

与早期阶段的所有主要技术一样,深度学习必须克服许多严峻挑战。

马库斯的文章讨论了当前深度学习系统面临的十大挑战。我将重点讨论这四个问题。

深度学习中的数据匮乏

深度学习的数据要求与许多维度中的其他分析方法的数据要求大不相同。随着数据集大小的增加,传统分析的性能趋于稳定。然而,随着数据集变大,正确训练的深度学习技术的性能将显着提高。深度学习方法在从复杂的非结构化数据(包括音频,语音,图像和视频)中提取模式方面特别有价值。要做到这一点,他们需要成千上万的数据记录才能使模型在分类任务中变得更好,并且需要数百万的数据才能在人类层面上发挥作用。

“人类可以在几次试验中学习抽象关系,......”马库斯指出。“深度学习目前缺乏通过明确的口头定义来学习抽象的机制,并且当有数千,数百万甚至数十亿的训练样例时效果最好。”当通过明确的定义学习时,“你不依赖数百或数千或数百万训练样例,但能够表示代数变量之间的抽象关系。人类可以通过明确的定义和更隐含的手段来学习这种抽象。事实上,即使是七个月大的婴儿也可以这样做,只需两分钟即可从少量无标签的例子中获得学习抽象语言的规则。“

在最近的人工智能会议上,麻省理工学院大脑和认知科学教授Josh Tenenbaum解释了他对我们目前的人工智能状态与人类智力水平长期追求之间差异的看法。人类智能能够超越数据和机器学习算法。人类能够在他们感知世界时建立模型,包括实际的日常常识知识,然后使用这些模型来解释他们的行为和决定。根据Tenenbaum的说法,三个月大的婴儿对周围世界的了解比任何人工智能应用要多。在从分析的数据中学习模式之前,AI应用程序从空白的平板开始,而婴儿开始时具有遗传头部开始和大脑结构,这使得他们可以学习比数据和模式更多的东西。

像麻省理工学院人类动力学实验室艾伦研究所这样的研究工作,以及像Kyndi这样的创业公司正试图通过模仿人类常识推理和/或用基于逻辑的编程工具补充统计导向的AI方法来克服深度学习的局限性。这些研究工作仍处于早期阶段。

深度学习实际上是很浅薄的

深度学习的“深度”是指其高度复杂的,多层次的统计特性。但是,虽然能够取得一些惊人的成果,但在目前的化身中,深度学习实际上是非常浅薄和脆弱的。“通过深度学习提取的模式比最初出现时更肤浅。”

我们目前的AI应用程序通过大量数据和深度学习算法的训练完成了一件事。每个应用程序必须使用自己的数据集进行单独培训,即使对于与以前类似的用例也是如此。到目前为止,没有好的办法将培训从一种情况转移到另一种情况。

AI最适合与训练集中使用的应用程序和测试集非常相似的应用程序和测试集,但在尝试概括或推断超出其训练数据集时,它的效果要差得多。

深度学习不够透明

计算机为什么做出了某个决定?深度学习的另一个重要挑战是其不透明性和黑盒子性质。用人类术语解释复杂深度学习应用的结果是相当困难的。典型的深度学习系统在其复杂的神经网络中具有大量参数。用人们理解的方式评估各个节点对决策的贡献是非常困难的。

“透明度问题尚未解决,在对金融交易或医疗诊断等问题领域进行深度学习时可能会产生责任,人类用户可能希望了解特定系统如何做出决定......这种不透明性也会导致严重的偏见问题。“

深度学习模型很难设计

前沿的IT系统都有工程风险,特别是在医疗,汽车,飞机,金融和政府等高利益应用中使用时。虽然这些风险一般适用于人工智能系统日益增加的复杂性,但鉴于其统计性质,不透明性以及难以将因果关系与相关性区分开来,它们在深度学习中的问题更大。

我们还必须确保我们复杂的AI系统完成我们希望他们做的事情,并按照我们希望他们的行为方式行事,这是深度学习算法的一个特别棘手的问题,这些算法在没有明确编程的情况下接受数据训练和学习。

科研人员已经做出了许多措施来解决这些以及其他主要人工智能和深度学习挑战,包括斯坦福大学的人工智能百年研究和麻省理工学院的探索。希望与之前的强大技术一样,这些努力将有助于确保妥善解决这些问题,让我们日益强大的人工智能系统将对经济,社会和个人生活产生重大的有益影响。

原文标题《Is Deep Learning Approaching a Wall?》,

作者:MIT IDE

译者:我就静静地看

不代表云加社区观点,更多详情请查看原文链接

原文链接:https://medium.com/mit-initiative-on-the-digital-economy/is-deep-learning-approaching-a-wall-d80394874939

原文作者:MIT IDE

编辑于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏人工智能头条

专家展望未来5年深度学习发展趋势

1904
来自专栏大数据文摘

怎样找到一份深度学习的工作 | 附学习材料,资源与建议

2124
来自专栏CreateAMind

中文简短的《神经网络与深度学习》极佳入门书-出自量子物理学家

1211
来自专栏CreateAMind

智能机器的现实风险

当人们问我是干什么的,我常常对回答的深度感到困惑。说“人工智能”我很满意,但太宽泛,而说“图像处理”可能又太具体。然而,一听到接下的来的毫不相干的问题我总是气不...

881
来自专栏大数据文摘

扎克伯格预言即将成真:计算机可解读图片内容

26313
来自专栏专知

【紫冬观点】 刘成林:模式识别背后的人工智能局限

中科院自动化所刘成林研究员详述了人工智能在目前发展阶段,人脸识别、文字识别等典型问题的研究难点和重点。同时,刘成林指出,人脸识别和文字识别作为典型的模式识别问题...

1673
来自专栏新智元

DeepMind用深度学习模仿大脑推理,预测编码智能推进一大步!

【新智元导读】预测编码理论认为,大脑的感知、运动控制、记忆及其他高级功能,取决于真实经历和大脑对未来的预测之间的差异。DeepMind新推出的“生成查询网络”模...

951
来自专栏AI研习社

如何在 15 个月内占领 Kaggle 榜首?bestfitting 经验大放送

雷锋网 AI 研习社按:相信玩过 Kaggle 比赛的人都知道 bestfitting,他在加入 Kaggle 社群短短两年之内,就以黑马之姿成功占领比赛排行榜...

992
来自专栏新智元

《科学》封面论文作者力作:搭建像人一样思考和学习的机器(附论文下载)

【新智元导读】纽约大学的B. Lake、MIT的J. Tenenbaum等人2015年底在《科学》刊发封面论文,描述“看一眼便能学会写字”的计算机。Lake、T...

3467
来自专栏CSDN技术头条

专家展望未来5年深度学习发展趋势

2015年已然过去,2016刚刚开始,回头将目光集中于去年的成就上,以及对将来科学趋势的预测。去年最令人瞩目的一个领域就是深度学习,它是机器学习中越来越流行的一...

3925

扫码关注云+社区

领取腾讯云代金券