NEC新技术带来比Apach Spark快50倍的机器学习能力

陈桦 编译自 SiliconAngle 量子位 报道 | 公众号 QbitAI

日本计算机巨头NEC宣布,已经开发出一种新的数据处理技术,能加快向量计算机的机器学习速度。这种技术比当前主流的Apache Spark大数据框架快50倍。

NEC表示,新技术利用了一种叫作“稀疏矩阵”的数据结构,能明显提高机器学习任务中向量计算机的性能。

向量计算机是一种主要用于处理大型科学和工程计算的超级计算机。

上世纪70至90年代,向量计算机架构在超级计算机的发展中占据主导地位。当时,这种架构被用于Cray的大部分平台。然而,由于传统微处理器设计带来的强大性能,这种架构逐渐变得不太常见。然而近年来,随着NEC SX系列超级计算机的开发,向量计算机架构正获得新的生命。

NEC表示,与数据处理技术一同,该公司还开发了新的中间件,通过稀疏矩阵结构去简化机器学习应用。该公司表示,这种中间件可以从Python和Spark基础架构中启动,而不需要额外的编程。

对于“快50倍”这种说法,也有质疑的声音。

Constellation Research副总裁、首席分析师Holger Mueller表示,关于NEC所说的新技术比Apache Spark快50倍,这样的情况在预料之中,并且这样比较并不合适。

他指出,Spark通常使用内存存储将数据提供给神经网络,而神经网络通常运行在英伟达等公司的GPU上。与此不同,向量计算机针对向量的计算和处理进行了优化,而向量是神经网络的基础。

Mueller表示:“毫无疑问,向量计算机在建模、创建和分析神经网络过程中速度更快。而英伟达在人工智能和神经网络领域表现得很好,也是因为该公司的GPU本质上是向量计算器。将Spark存储和NEC向量计算机结合在一起,进行数据分析、学习和计算的速度会有多快?或许这将带来最快的速度,但我们需要从NEC的率先尝试中了解更多信息。”

与此同时,NEC也强调了新平台的成本经济性,以及可能的使用场景。

NEC系统平台研究实验室总经理Yuichi Nakamura表示:“这项技术使用户可以迅速从机器学习的成果中受益,包括网络广告的投放优化、推荐,以及文档分析。此外,使用少量服务器的低成本分析将帮助更多用户获得大数据分析优势,而以往这只属于大公司。”

NEC还表示,最新的SX-ACE向量计算机能满足广泛的性能需求。新的数据处理技术支持大数据分析能力,包括机器学习和深度学习。

NEC宣布,将在奥地利因斯布鲁克举行的2017年“并行和分布式计算国际研讨会”上展示其新技术。

原文发布于微信公众号 - 量子位(QbitAI)

原文发表时间:2017-07-05

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏计算机视觉战队

简单车牌检测

现在社会的发展迅速,人工智能也是现今最火热的趋势之一。很多智能化理念都会一一去实现,只是时间和策划的问题。 今天什么最多,其实有一个绝对是车。所以未来的智能交...

3386
来自专栏机器人网

五本必读的深度学习圣经书籍,入门 AI 从「深度学习」开始

(以下以 Daniel Jeffries 第一人称撰写) 多年来,由于实验室研究和现实应用效果之间的鸿沟,少有人持续研究人工智能,AI 在很多领域停滞不前。...

4006
来自专栏大数据文摘

AI大事件 | IBM和MIT成立联合人工智能研究实验室,谷歌大脑团队将在Reddit上举行AMA

1964
来自专栏AI科技评论

ACL2018 明日墨尔本召开:总体论文接收率 24.7%,两大特邀讲者名单公布

雷锋网 AI 科技评论按:ACL2018 将于 7 月 15 日-7 月 20 日在墨尔本召开,这也是 ACL 第二次登陆澳洲。从 2006 年 ACL 首次在...

712
来自专栏大数据挖掘DT机器学习

中文情感分析 (Sentiment Analysis) 的难点在哪?

作者:容哲 假设分析的对象是iphone5s的手机评论。从京东、亚马逊或者中关村都可以找到这款手机的评论。大致都如图所示。 ? 情感分析(Sentimen...

6036
来自专栏华章科技

炮灰模型:女生如何选择追求者的数学模型?

上周我的一个朋友第N 次向女生表白遭到拒绝,作为好朋友的我除了同情之外觉得应该做点什么。之前一次聊天受到 菠菜 的启发,加上出于对数学的兴趣,我对女生“选择与拒...

833
来自专栏Crossin的编程教室

Python 向人工智能方向发展的技能树

有不少同学学习 Python 的原因是对人工智能感兴趣,有志于从事相关行业。今天我们来聊聊这个方向所需要的一些技能。

1942
来自专栏机器之心

吴恩达Deeplearning.ai课程学习全体验:深度学习必备课程(已获证书)

选自Medium 作者:Arvind N 机器之心编译 参与:路雪、李泽南 8 月 8 日,吴恩达正式发布了 Deepleanring.ai——基于 Cours...

44611
来自专栏数据科学与人工智能

【Python环境】Python &R编码常见的机器学习算法

在拿破仑•希尔的名著《思考与致富》中讲述了达比的故事:达比经过几年的时间快要挖掘到了金矿,却在离它三英尺的地方离开了! 现在,我不知道这个故事是否真实。但是,我...

2209
来自专栏奇点大数据

人工智能与大数据的完美结合

人工智能(AI)已经存在几十年了。然而,最近随着“大数据”的出现,它得到了越来越多的关注。维基百科对人工智能的释义如下:

1462

扫码关注云+社区

领取腾讯云代金券