专栏首页ATYUN订阅号【业界】是什么推动了深度学习的“寒武纪大爆炸”?

【业界】是什么推动了深度学习的“寒武纪大爆炸”?

AiTechYun

编辑:nanan

准确地说,多伦多大学计算机科学家Alex Krizhevsky、Geoffrey Hinton和Ilya Sutskever都不知道他们要发布的是什么。那是2012年,他们刚刚向运行ImageNet竞赛的人们提交了关于他们的新机器学习模型的细节,其称为卷积神经网络(CNN)。

三人组的CNN只有八层——五个卷积层和三个完全连通的层。然而,基于GPU的系统对图像进行分类的效果非常好,以致于在当年的ImageNet领域的时间减少了11%,这是一个巨大的利润空间。但更重要的是,这种被称为“AlexNet”的获胜模式,将继续推动现代深度学习领域的发展。

今天,AlexNet构成了无数深度学习模型的基础。在2017年的GPU技术大会上,英伟达首席执行官黄仁勋首次将这种深度学习称为“寒武纪大爆炸”,并在上周的展会中再次使用了该语言。

“神经网络正在以惊人的速度增长和发展,”黄仁勋在上周二的马拉松式的两个半小时的主题演讲中表示,“仅仅五年前,AlexNet就开始了……5年后,成千上万的AI出现了。”

自从AlexNet第一次惊艳胜利以来,黄仁勋列举了几种深度学习模型:循环网络,生成对抗网络,再加强学习,神经合作过滤。“所有这些不同的架构和数百种不同的实现,”Huang说,“有越来越多的物种如此不可思议,而且有很多新物种出现。”

随着深度学习的领域越来越丰富和复杂,个人深度学习模式也变得越来越复杂。当AlexNet在2012年首次亮相时,它只有8个层和几百万个参数,但是今天的神经网络有数百个层次和数十亿个参数。据黄仁勋说,这相当于在过去5年里,深度学习模式的复杂性增加了500倍。

AlexNet向世界展示的是,更好的软件、更快的硬件和更多的数据可以带来更好更准确的预测模型。深度学习方法也为AI的复兴奠定了基础,这改变了我们对计算的看法。

“数据量呈指数增长。有证据表明,在GPU计算中,计算呈指数级增长。”黄仁勋表示,“因此,深度学习网络和深度学习模式(AI模型)正在以双指数形式增长。”

持续扩张

为机器学习任务找到合适的成分是一件令人印象深刻的事情。但更有趣的是,名为AlexNet的模型可以引导一种全新的计算方法。

“更令人惊奇的是,人们能够通过深度学习来不断改进它,”AlexNet的最初开发者之一Sutskever在2017年的采访中表示。

如今,深度学习正在渗透进企业,并与其他形式的机器学习相结合,提升企业的能力。

Teradata营销副总裁Chad Meley表示:“我们现在看到的有趣的转向是机器学习和深度学习之间的这种转变。我们看到很多客户在使用相同类型的用例,比如欺诈检测、客户亲密、供应链优化、收益管理等(通过深度学习,而不是在过去5年里一直在做的机器学习),他们得到了更好的预测结果,更好的模型。”

这并不意味着客户正在将现有的机器学习框架剥离出来,而用谷歌的TensorFlow、Facebook的PyTorch或者其他任何已经开源的深度学习框架构建的深度学习模型取代它们。Teradata全球新兴业务副总裁Atif Kureishy表示,这更像是一种综合方法。

“如果你以正确的方式设置正确的问题,它肯定能提高你的准确性,”Kureishy在上周的GTC 2018展会上表示,“但在我们所做的几乎每一项业务中,客户都是通过深度学习进入生产领域,通常是通过具有传统的机器学习模式和深度学习模式的整体模型。”

Teradata正寻求提升分析堆栈,超越其在企业数据仓库中的根源,并在上周的展会中展示了与英伟达合作的扩展。作为Teradata的分析平台的一部分,该公司最终试图让用户能够在一个按钮的推动下,将一个数据问题可能需要的任何分析环境(比如GPU集群,用于深度学习或内存重CPU集群),进行自定义。

该公司仍然是提供这种能力的一种方式,但它的客户已经在以创新的方式利用深度学习。其中之一是Danske Bank(丹麦银行),该银行利用Teradata的Think Big Analytics小组,利用深度学习技术构建更好的欺诈检测引擎。

Kureishy解释了公司的做法。“我们需要时间序列数据,随着时间的推移,我们建立了一个n维数组,一个矩阵,”他说,“我们投入了许多功能:关于交易的功能、关于发件人、目的地和IP地址的功能。这是一个巨大的特征空间。”

“然后我们把它变成了一个看似像素化图像的布局,”他继续说道,“我们创造了RGB值的特性,相对于时间序列数据….然后我们通过AlexNet架构运行它,弹出的是不同颜色的图像,并且像素的强度本质上显示了正在发生的事情。”

通过使用表格数据,并利用它来模拟CNN所能显示的图像,银行创造了更好的“捕鼠器”,而不是仅靠机器学习的能力。根据Constellation Research的一份报告显示,丹麦银行的新系统负责将欺诈误报减少20%至30%。它还利用LIME框架帮助向审计师解释丹麦银行的深度学习系统如何检测欺诈行为,这对任何依赖“黑匣子”技术的人来说都是越来越关注的问题。

“我们做了很多实验,实际上这是最有效的,”Kureishy说。“我们必须做所有这些丰富的事情,并在100毫秒内对6个机器学习和深度学习模型进行推理。但最难的部分是从IBM大型机和其他专卖店获取数据。”

将Geoff Hinton关于神经网络架构的学术研究变成一个能够赢得ImageNet奖的自我教学系统,肯定会揭开我们正在经历的寒武纪深刻学习的爆炸。但是,现在爆炸的原因是来自丹斯克银行的一个故事,它显示了真实世界的公司如何发现该技术对解决业务问题有用。

本文分享自微信公众号 - ATYUN订阅号(atyun_com),作者:nanan

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2018-04-03

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 【业界】是时候解决深度学习的生产力问题了

    深度学习正在推动从消费者的手机应用到图像识别等各个领域的突破。然而,运行基于深度学习的人工智能模型带来了许多挑战。最困难的障碍之一是训练模型所需的时间。 ? 需...

    AiTechYun
  • 用深度学习预测Phish乐队接下来唱什么歌(上)

    Phish——一个标志性的现场摇滚乐队,和机器学习的世界…他们可能有什么共同之处?

    AiTechYun
  • 【业界】2018年,会对你产生重大影响的几个机器学习趋势

    AiTechYun 编辑:nanan ? 如果有一个技术术语能让所有与该行业相关的人都喜欢上,那么它就必须是“机器学习”。“机器学习”缩写为ML,它以某种方式几...

    AiTechYun
  • 7本必看入门深度学习书籍

    对于入门深度学习的书籍,计算机视觉专家 Adrian Rosebrock 最近写了篇非常实用的书单,给深度学习新手推荐了7本书籍,最最重要的是,告诉了你最适合看...

    机器人网
  • CVPR2020论文解读 | VIBE:Video Inference for Human Shape

    3D人体姿态与形态估计CVPR 2020的一篇论文笔记,VIBE: Video Inference for Human Body Pose and Shape ...

    马上科普尚尚
  • 刚刚用华为鸿蒙跑了个 “Hello World” !跑通后,我开始怀疑人生....

    来源:https://my.oschina.net/u/169565/blog/4557279

    GitHubDaily
  • 在华为鸿蒙OS上尝鲜,我的第一个“hello world”

    来源:https://my.oschina.net/u/169565/blog/4557279

    良月柒
  • 用鸿蒙跑了个 “hello world”!鸿蒙开发初体验

    来源 | https://my.oschina.net/u/169565/blog/4557279

    程序猿DD
  • 如何在鸿蒙上写出第一个 Hello World?

    来源:https://my.oschina.net/u/169565/blog/4557279

    cxuan
  • 扒一扒安卓渲染原理

    导语: 在测试流畅度的过程中,必不可免的要与FPS,Jank等指标接触,但为了加深理解,今天来简单扒一扒安卓的渲染原理; PerfDog使用Jank作为来代表游...

    WeTest质量开放平台团队

扫码关注云+社区

领取腾讯云代金券