神经网络计算爆炸

深度挖掘的公司开始为特定应用定制这种方法,并花费大量资金来获得初创公司。

具有先进并行处理的神经网络已经开始扎根于预测地震和飓风到解析MRI图像数据的许多市场,以便识别和分类肿瘤。

由于这种方法在更多的地方得到实施,所以它是以许多专家从未设想的方式进行定制和解析的。它正在推动对这些计算架构如何应用的新研究。

荷兰Asimov研究所的深度学习研究员Fjodor van Veen已经确定了27种不同的神经网络结构类型。 (参见下面的图1)。差异主要是应用程序特定的。

神经网络

图。 1:神经网络架构。资料来源:阿西莫夫研究所

神经网络是基于阈值逻辑算法的概念,这是1943年由神经生理学家Warren McCulloch和逻辑学家Walter Pitts首次提出的。研究在接下来的70年里一直徘徊,但是它真的开始飙升。

Nvidia的加速计算集团产品团队负责人Roy Kim表示:“2012-2013年的大爆炸事件发生在两个里程碑式的出版物上。其中一篇论文是由Geoffrey Hinton和他的团队从多伦多大学(现在也是谷歌的半时间)撰写,题为“ImageNet Classification with Deep Convolutional Neural Networks”。然后在2013年,Stanford的Andrew Ng(现在也是百度首席科学家),他的团队发表了“与COTS HPC系统深度学习”。

Nvidia早期认识到,深层神经网络是人工智能革命的基础,并开始投资于将GPU引入这个世界。 Kim指出卷积神经网络,复发神经网络和长时间内存(LSTM)网络,其中每个网络都设计用于解决特定问题,如图像识别,语音或语言翻译。他指出,Nvidia正在所有这些领域招聘硬件和软件工程师。

6月份,Google大幅增加新闻,Google在神经网络手臂竞赛的半导体领域处于领先地位。 Google卓越的硬件工程师Norm Jouppi公布了公司几年努力的细节,Tensor处理器单元(TPU)是实现硅芯片神经网络组件的ASIC,而不是使用原始硅计算电源和内存库和软件,这也是谷歌也做的。

TPU针对TensorFlow进行了优化,TensorFlow是Google使用数据流图进行数值计算的软件库。它已经在Google数据中心运行了一年多。

不过,这不仅仅是一些正在争夺这一市场的玩家。创业公司Knupath和Nervana进入这个战争,寻求设计具有神经网络的晶体管领域。英特尔上个月向Nervana报了4.08亿美元。

Nervana开发的硅“引擎”是在2017年的某个时候。Nervana暗示了前进的内存缓存,因为它具有8 Tb /秒的内存访问速度。但事实上,Nervana在2014年以种子资本开始投入60万美元,并在两年之后卖出近680倍的投资,这证明了行业和金融家们正在占据的空间 - 以及这个市场有多热。

市场驱动

汽车是该技术的核心应用,特别适用于ADAS。 Arteris董事长兼首席执行官Charlie Janac说:“关键是您必须决定图像是什么,并将其转化为卷积神经网络算法。 “有两种方法。一个是GPU。另一种是ASIC,其最终获胜并且使用较少的电力。但一个非常好的实现是紧密耦合的硬件和软件系统。

然而,到紧密耦合系统的这一点,取决于对什么问题需要解决的深刻理解。

Leti首席执行官Marie Semeria说:“我们必须开发不同的技术选择。 “这是全新的。首先,我们必须考虑使用。这是一种完全不同的驾驶技术方式。这是一个神经性的技术推动。你需要什么?然后,您将根据此开发解决方案。“

该解决方案也可以非常快。 Cadence顾问Chris Rowen表示,其中一些系统每秒可以运行数万亿次操作。但并不是所有这些操作都是完全准确的,而且这个操作也必须被构建到系统中。

Rowen说:“你必须采取一种统计手段来管理正确性。 “你正在使用更高的并行架构。”

最有效的

比较这些系统并不容易。在讨论Google TPU时,Jouppi强调了世界各地的研究人员和工程师团队的基本工作方法,以及他们正在使用的硬件和软件的性能:ImageNet。 ImageNet是大学研究人员独立维护的1400万张图像的集合,它允许工程团队将他们的系统找到对象和分类(通常是其子集)的时间缩短。

本月晚些时候,ImageNet大型视觉识别挑战赛(ILSVRC)的结果将于2016年发布,作为在阿姆斯特丹举行的欧洲计算机视觉会议(ECCV)的一部分。

所有在这里讨论的玩家将在那里,包括Nvidia,百度,谷歌和英特尔。高通也将在那里,因为它开始关键的软件库,就像Nvidia一样。 Nvidia将展示其DGX-1深度学习用具和Jetson嵌入式平台,适用于视频分析和机器学习。

ECCV 2016的总裁Arnold Smeulders和Theo Gevers告诉“半导体工程”,ECCV的许多与会者都在半导体技术领域工作(而不是硅片上运行的软件),从而实现计算机视觉。

“最近,半导体技术强国已经开始对计算机视觉感兴趣,”他们通过电子邮件说。 “现在,电脑可以了解图像中存在哪些类型的场景和类型的场景。这需要从注释示例中描述与机器学习匹配的特征中的图像。在过去五年中,这些算法的力量使用深层学习架构大大增加。由于它们是计算密集型产品,包括高通,英特尔,华为和三星在内的芯片制造商,以及苹果,谷歌,亚马逊等大型企业以及许多高科技创业公司也将进入计算机视觉阶段。

Smeulders和Gevers表示,兴趣已经增长到这样的高度,会议场地在一个月前达到最大容量,注册预计将会结束。

以前的ECCV版本长期以来每年大约有100名与会者长大,在苏黎世的上一版本以1,200的成绩结束。 “今年,我们在会议前一个月已经有1500位与会者。在这一点上,我们不得不关闭注册,因为我们雇用的建筑,荷兰皇家剧院,不能更舒适地拥有,“他们写道。

随着行业的复杂和变化,工程经理寻找必要的技能是很困难的。它还引发了电气工程和计算机科学学生关于他们的课程是否会过时的问题,然后才能将它们应用于市场。那么一个学生对电子学有兴趣,特别是半导体在计算机视觉中的作用呢,可以在现场找到工作吗?

Semulders和Gevers表示:“由于图像[识别]是每1/30秒的大量数据,所以半导体行业受到重视是很自然的事情。” “由于大量的数据,直到最近,注意力仅限于处理图像以产生另一个图像(更可见,更清晰的图像中的突出显示元素)或减少图像(目标区域或压缩版本)。这是图像处理领域:图像输入,图像输出。但最近,计算机视觉领域 - 即对图像中可见的解释 - 已经经历了一个非常有成效的时期。他们写道:要了解图像的本质,正在形成的方式和深入网络分析的方式,是现代计算机视觉的关键组成部分。

随机信号处理,机器学习和计算机视觉将是学习和培训的领域。

ECCV的亚洲对手是亚洲CCV。在这几年,国际CCV举行。 Smeulders和Gevers指出,每年夏天在美国举行的计算机视觉和模式识别会议是对CCVs的补充,但是重点略有不同。 Google认为它是所有审查学科的前100名研究来源之一,这是列表中唯一的会议。论文将于11月15日在檀香山举行的7月份e会议上公布。

Nvidia的Kim和其他人认为2012年至2013年将成为在这些神经网络应用中用于计算机视觉等任务的GPU的“大爆炸”。那么下一个大爆炸又是什么?

“自2004年以来,对图像内容进行分类的比赛重新开始,几个算法步骤已经铺平了道路,”Smeulders和Gevers写道。 “一个是SIFT特征[Scale Invariant Feature Transform]。另一种是一些单词和其他编码方案,以及特征定位算法,以及大量图像数据的特征学习。然后,GPU为深入学习网络铺平了道路,进一步提高了性能,因为它们加速了数据集的学习。这意味着需要几周的任务现在可以在一夜之间运行。下一个大爆炸将再次在算法方面。

鉴于投入这笔市场的金额很大,毫无疑问,大事情将会前进。还有多大的待观察,但鉴于这种方法的活动量以及投资的数量,预期是非常高的。

原文发布于微信公众号 - 智能计算时代(intelligentinterconn)

原文发表时间:2017-05-02

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏数据派THU

谷歌大脑2017技术研究总结 | Jeff Dean执笔(附论文、 数据集)

本文经AI新媒体量子位(公众号ID:qbitai)授权转载,转载请联系出处 本文长度为8311字,建议阅读10分钟 Jeff Dean回顾了谷歌大脑团队过去一年...

4285
来自专栏吉浦迅科技

(图解)神经网络的复兴:重回风口的深度学习

2012年,「GPU+深度学习」真正引爆革命火花 由于多层神经网络的计算量庞大、训练时间过长,常常跑一次模型就喷掉数周、甚至数月的时间,2006年该时也仅是让学...

39010
来自专栏数据派THU

清华大学张长水教授:机器学习和图像识别(附视频、PPT下载)

本篇干货整理自清华大学自动化系教授张长水于2018年4月27日在清华大学数据科学研究院第二届“大数据在清华”高峰论坛主论坛所做的题为《机器学习和图像识别》的演讲...

4043
来自专栏企鹅号快讯

科学家:大脑有860亿神经元!能生活在11维度的世界?

最近一项科学研究发现,人类大脑有超过860亿神经元,而每个神经元都有好几个方向上的其它神经元进行着链接,这就形成了一个超级巨大的蜂窝结构。科学家们称,这样的结果...

1858
来自专栏新智元

【重磅】吴恩达率百度大脑完胜“最强大脑”王峰,AI技术解密

【新智元导读】人工智能又一次战胜了人类!这次是在《最强大脑》。吴恩达率队的百度人工智能在人脸识别跨年龄识别任务中以 3:2 的比分惊险击败《最强大脑》名人堂轮值...

3826
来自专栏新智元

红色预警尚未结束,北京启用机器学习预测空气污染

【新智元导读】今年冬天北京启用雾霾预警系统,将传统的大气化学物理模型与机器学习相结合,力求在更短的时间内做出更精确的预测。12月16日启动的今年首次空气重污染红...

3725
来自专栏京东技术

AAAI 2018快报:京东公布基于计算机视觉的电商推荐技术

AAAI会议(Associationfor the Advancement of Artificial Intelligence)是人工智能领域的顶级学术会议,...

3806
来自专栏机器之心

专访 | 三角兽首席科学家王宝勋:热度之下的对话生成

机器之心原创 作者:邱陆陆 从 EMNLP 入选论文《Neural Response Generation via GAN with an Approxima...

40511
来自专栏AI科技评论

葛笑雨:应用于智能体(Agent)的空间物理定性推理技术

近年来人工智能技术突飞猛进,越来越多的机器人正在走进我们的世界。与人类一样,机器人在执行日常任务时往往需要具备一定的空间物理推理能力。具备这种能力不仅使机器人可...

1371
来自专栏PPV课数据科学社区

如何看待「机器学习不需要数学,很多算法封装好了,调个包就行」这种说法?

编者按:这个问题放到更大的范围,也同样适用于回答“学习数据挖掘是否需要学好数学?”。作者从实践的几个方面给出了自己的理解,小遍认为还是比较好的回答了这个问题。 ...

3995

扫码关注云+社区

领取腾讯云代金券