NEC新技术带来比Apach Spark快50倍的机器学习能力

陈桦 编译自 SiliconAngle 量子位 报道 | 公众号 QbitAI

日本计算机巨头NEC宣布，已经开发出一种新的数据处理技术，能加快向量计算机的机器学习速度。这种技术比当前主流的Apache Spark大数据框架快50倍。

NEC表示，新技术利用了一种叫作“稀疏矩阵”的数据结构，能明显提高机器学习任务中向量计算机的性能。

向量计算机是一种主要用于处理大型科学和工程计算的超级计算机。

上世纪70至90年代，向量计算机架构在超级计算机的发展中占据主导地位。当时，这种架构被用于Cray的大部分平台。然而，由于传统微处理器设计带来的强大性能，这种架构逐渐变得不太常见。然而近年来，随着NEC SX系列超级计算机的开发，向量计算机架构正获得新的生命。

NEC表示，与数据处理技术一同，该公司还开发了新的中间件，通过稀疏矩阵结构去简化机器学习应用。该公司表示，这种中间件可以从Python和Spark基础架构中启动，而不需要额外的编程。

对于“快50倍”这种说法，也有质疑的声音。

Constellation Research副总裁、首席分析师Holger Mueller表示，关于NEC所说的新技术比Apache Spark快50倍，这样的情况在预料之中，并且这样比较并不合适。

他指出，Spark通常使用内存存储将数据提供给神经网络，而神经网络通常运行在英伟达等公司的GPU上。与此不同，向量计算机针对向量的计算和处理进行了优化，而向量是神经网络的基础。

Mueller表示：“毫无疑问，向量计算机在建模、创建和分析神经网络过程中速度更快。而英伟达在人工智能和神经网络领域表现得很好，也是因为该公司的GPU本质上是向量计算器。将Spark存储和NEC向量计算机结合在一起，进行数据分析、学习和计算的速度会有多快？或许这将带来最快的速度，但我们需要从NEC的率先尝试中了解更多信息。”

与此同时，NEC也强调了新平台的成本经济性，以及可能的使用场景。

NEC系统平台研究实验室总经理Yuichi Nakamura表示：“这项技术使用户可以迅速从机器学习的成果中受益，包括网络广告的投放优化、推荐，以及文档分析。此外，使用少量服务器的低成本分析将帮助更多用户获得大数据分析优势，而以往这只属于大公司。”

NEC还表示，最新的SX-ACE向量计算机能满足广泛的性能需求。新的数据处理技术支持大数据分析能力，包括机器学习和深度学习。

NEC宣布，将在奥地利因斯布鲁克举行的2017年“并行和分布式计算国际研讨会”上展示其新技术。