富士通新技术大幅减少深度学习对内存的需求

《IEEE科技纵览》发表文章称,富士通开发的新技术可以大幅减少深度学习算法对内存的需求。

日本富士通开公司发了一种基于深度学习神经网络算法的并行计算加速方法,该方法能够扩大适用于单颗芯片的神经网络规模。富士通实验室下一代计算机系统项目组的Yasumoto Tomita表示:通过一条有效的捷径,该方法能够将神经网络计算所需内部图形处理器(GPU)的内存需求量减少40%。

Tomita表示:富士通公司根据从加权数据计算中间误差数据与从中间数据产生加权误差数据的过程,来判断如何重复利用GPU的特定内存区域。这一过程是独立且同时进行的。他估计,减少40%的内存使用量可以允许在一个GPU上运行更大的具有“大约两倍层数或神经元”的神经网络。Tomita指出,在训练过程中,当运行于多个GPU的神经网络需要共享数据时,可能出现一些性能瓶颈,而这种方法可以减少出现这种瓶颈的机会。

此外,富士通正在开发能够加快多个GPU之间数据交换的软件,该软件可能会与能够提升存储效率的技术相结合,以提升该公司的深度学习能力。Tomita表示:将存储效率技术与GPU并行化技术相结合,可以使得大型神经网络的快速学习成为可能,且无需模型的并行化。

原文发布于微信公众号 - 人工智能快报(AI_News)

原文发表时间:2016-11-21

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏机器之心

学界 | UCSB提出变分知识图谱推理:在KG中引入变分推理框架

选自arXiv 作者:Wenhu Chen等 机器之心编译 参与:张楚、思源 推理知识图谱中缺失的连接已经吸引了研究界的广泛关注。在本论文中,加州大学圣塔芭芭拉...

4006
来自专栏AI科技评论

干货 | Machine Can See 2018 图像对抗攻击大赛比赛心得

AI 科技评论按:这篇文章来自俄罗斯数据科学家、机器学习爱好者、创业公司的计算机视觉研究员 Alexander Aveysov。他参加了 2018 年度的「Ma...

1492
来自专栏PPV课数据科学社区

人人都应该掌握的9种数据分析思维-深度学习世界

说到数据分析,啤酒和尿布的例子大家应该都听腻了。再具体、深入一些的内容,往往因为数学就令很多人望而却步了。给大家分享9个不带数学推导的数据分析思路,希望大家能喜...

33012
来自专栏企鹅号快讯

像人一样思考的教学芯片

这个被称为水库计算系统的网络能够在对话之前对其进行预测,并帮助预测未来的结果。 由密歇根大学电气工程和计算机科学教授魏璐率领的油藏计算系统研究小组最近在Natu...

1965
来自专栏人工智能头条

大四学生整理:一份“不完美”的数据科学问答清单

1256
来自专栏机器之心

业界 | Graphcore提出IPU基准:全面测试硬件运行机器学习应用能力

3318
来自专栏AI科技评论

开发 | 无需编程,仅用摄像头,Google最新项目让你3分钟学会机器学习

得益于各种套件,今天的机器学习的门槛已经越来越低。但Google显然并不满足于此,其最新推出了Teachable Machine项目,让用户无需编程就可以用手机...

2968
来自专栏人工智能快报

富士通推出优化深度学习应用的电路设计

据富士通公司官网报道,富士通实验室开发了一种具有唯一数值表示的电路技术,可以减少计算中使用的数据位宽,并能基于深度学习训练计算的特点,根据分布统计信息来自动控制...

2855
来自专栏机器之心

教程 | 用Python实现类FaceID的人脸识别?一文告诉你该怎么做

选自Medium 作者:Norman Di Palo 机器之心编译 参与:路雪 本文介绍了如何使用 Python 在 Keras 框架上实现 FaceID,对 ...

4387
来自专栏数据派THU

【独家】一文读懂回归分析

本文字数为10000字,阅读全文约需25分钟 本文为回归分析学习笔记。 前言 1.“回归”一词的由来 我们不必在“回归”一词上费太多脑筋。英国著名统计学家弗朗西...

4278

扫码关注云+社区