IBM开发全新的深度学习芯片,旨在极大提高利用率

AiTechYun

编辑:chux

深度学习领域仍在不断变化,但有些事情已经开始着手解决。特别是专家们认识到,如果芯片使用低精度数学近似得出答案,神经网络可以用很少的能量完成大量的计算。这在移动和其他功率受限的设备中尤其有用。但是一些任务,特别是训练神经网络做任务,仍然需要精确。IBM最近在IEEE VLSI Symposia上展示了其最新的解决方案,仍然是原型,一种同样做得很好的芯片。

训练神经网络和使网络执行其功能(推理)的需求之间的脱节对于那些设计加速AI功能的芯片的人来说是一个巨大的挑战。IBM的新型AI加速器芯片能够满足公司所谓的伸缩精确度。也就是说,它可以在32位,16位或甚至1位或2位进行训练和推理。

“你可以为训练做的最先进的精度是16位,你可以做的最先进的推理是2位,” Kailash Gopalakrishnan解释说,他是IBM约克镇高地研究中心技术人员的杰出成员,他领导了这项工作,“这个芯片可能涵盖了今天已知的最佳训练和最好的推理。”

芯片完成所有这些工作的能力源于两项旨在实现相同结果的创新,即保持所有处理器组件的数据和工作。

“在深度学习方面,传统芯片架构面临的挑战之一是利用率通常非常低,”Gopalakrishnan说。也就是说,即使芯片可能具有非常高的峰值性能,通常只有20%到30%的资源可以用来解决问题。IBM始终将所有任务的目标定为90%。

利用率低通常是由于芯片周围数据流的瓶颈。为了突破这些信息障碍,Gopalakrishnan的团队想出了一个“定制”的数据流系统。数据流系统是一种网络方案,可加速数据从一个处理引擎到下一个处理引擎的移动。它根据是处理学习还是推理以及不同的精度来定制。

第二个创新是使用一种特殊设计的,称为“高速暂存记忆区(scratch pad)”的芯片内存,而不是在CPU或GPU上发现的传统缓存内存。缓存是为了遵守某些规则而构建的,这些规则对一般计算有意义,但会导致深度学习的延迟。例如,在某些情况下一个缓存将一大块数据的计算机主存(驱逐),但是如果这些数据作为神经网络的一部分需要年代推论或学习过程中,该系统将不得不等到它可以从主存储器中检索。

高速暂存记忆区不遵循相同的规则。相反,它是为了保持数据流经芯片的处理引擎而构建的,确保数据在恰当的时间处于正确的位置。为了获得90%的利用率,IBM必须设计具有巨大读/写带宽(每秒192千兆字节)的高速暂存记忆区。

由此产生的芯片可以执行当今所有三种主要的深度学习AI:卷积神经网络(CNN),多层感知器(MLP)和长短期记忆(LSTM)。Gopalakrishnan解释说,这些技术共同主导了语言,视觉和自然语言处理。在训练精度为16位典型的情况下,IBM的新芯片每秒钟通过1.5万亿次浮点运算,以2位精度最佳推理,每秒12万亿次。

Gopalakrishnan指出,由于芯片是采用先进的硅CMOS工艺(GlobalFoundries的14纳米工艺)制造的,因此每秒所有这些操作都包含在一个相当小的区域内。对于推理CNN,该芯片每平方毫米平均可执行1.33万亿次操作。这个数字很重要,因为在很多应用中,成本受到尺寸的限制。

新的架构也证明了IBM研究人员几年来一直在探索的东西:如果神经网络以更高的精度训练,那么真正低精度的推理就无法正常工作。“当你低于8位时,训练和推理开始直接相互影响,”Gopalakrishnan说。一个训练为16位但部署为1位系统的神经网络将导致重大错误。因此,最好的结果是以与最终执行方式类似精度来训练网络。

没有任何关于这项技术何时可能以Watson或其他形式商业化的消息,但Gopalakrishnan的老板Mukesh Khare,IBM的半导体研究副总裁,表示希望它能够发展和改进。“这只是冰山一角,我们正在进行更多创新。”

原文发布于微信公众号 - ATYUN订阅号(atyun_com)

原文发表时间:2018-07-03

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏AI科技评论

开发丨谷歌机器学习白皮书全解析 43 条黄金法则(四)

AI 科技评论按:此白皮书为谷歌总结的机器学习(ML)最优实践方法,浓缩了其多年技术积累与经验,尤其是 YouTube、Google Play 和 Google...

38650
来自专栏一名叫大蕉的程序员

Machine Learning最小可迭代产品No.75

报告各位首长,我参与的第二个项目顺利上线啦~ 棒棒,又一次感觉自己做的东西是有价值的,这个项目是一个平台类产品,专注于提高线下零售的实施效率,希望后面的迭代会越...

21680
来自专栏数据派THU

手把手教你用Kaggle开启机器学习之旅(附资源链接)

本文分析了Kaggle利于数据科学领域新手学习的几点特征,并带你学习ML相关知识。

21320
来自专栏FD的专栏

什么是最小可行性数据产品(MVP)?如何用它做机器学习?

本文作者是一名数据科学家,现在离开了Pivotal公司加入了idealo公司,正在帮助其搭建数据科学团队以及把机器学习整合到公司的产品中。

10320
来自专栏新智元

Facebook 图像机器学习平台 Lumos 升级,不是计算机视觉专业也能使用

【新智元导读】Facebook的图像机器学习处理Lumos日前进行了系统更新,在原来对照片和视频进行分类的基础上,运行速度更快,自动识别图像边界,能解释图中人物...

30640
来自专栏CDA数据分析师

警惕!机器学习入门阶段易犯的5个错误

怎样进入机器学习领域没有定式。我们的学习方式都有些许不同,学习的目标也因人而异。 但一个共同的目标就是要能尽快上手。如果这也是你的目标,那么这篇文章为你列举了程...

18650
来自专栏人工智能

23个深度学习库的排名

本文对 23 个深度学习库进行了排名,衡量的标准有三个:GitHub、Stack Overflow 以及谷歌搜索结果。TensorFlow 凭借最大、最活跃的社...

45580
来自专栏FD的专栏

什么是最小可行性数据产品(MVP)?如何用它做机器学习?

本文作者是一名数据科学家,现在离开了Pivotal公司加入了idealo公司,正在帮助其搭建数据科学团队以及把机器学习整合到公司的产品中。

8520
来自专栏PPV课数据科学社区

[译文]机器学习不是数据科学

对于很多人来说,机器学习就是数据科学。在我这道这两个术语的含义之前,我也简单的认为数据科学只不过是机器学习一个流行的叫法而已。过了一段时间,再次考虑这个问题的时...

41540
来自专栏机器之心

专访 | 追一科技首席科学家杨振宇:对话机器人里不能「耳闻目览」却又「无所不在」的 AI

机器之心原创 作者:邱陆陆 对话机器人是「怎样炼成的」。 相比于语音和图像,自然语言是一个有「更多需求」和「更少标准答案」的领域。扎根自然语言的公司通常也不是从...

39890

扫码关注云+社区

领取腾讯云代金券