富士通新技术大幅减少深度学习对内存的需求

《IEEE科技纵览》发表文章称,富士通开发的新技术可以大幅减少深度学习算法对内存的需求。

日本富士通开公司发了一种基于深度学习神经网络算法的并行计算加速方法,该方法能够扩大适用于单颗芯片的神经网络规模。富士通实验室下一代计算机系统项目组的Yasumoto Tomita表示:通过一条有效的捷径,该方法能够将神经网络计算所需内部图形处理器(GPU)的内存需求量减少40%。

Tomita表示:富士通公司根据从加权数据计算中间误差数据与从中间数据产生加权误差数据的过程,来判断如何重复利用GPU的特定内存区域。这一过程是独立且同时进行的。他估计,减少40%的内存使用量可以允许在一个GPU上运行更大的具有“大约两倍层数或神经元”的神经网络。Tomita指出,在训练过程中,当运行于多个GPU的神经网络需要共享数据时,可能出现一些性能瓶颈,而这种方法可以减少出现这种瓶颈的机会。

此外,富士通正在开发能够加快多个GPU之间数据交换的软件,该软件可能会与能够提升存储效率的技术相结合,以提升该公司的深度学习能力。Tomita表示:将存储效率技术与GPU并行化技术相结合,可以使得大型神经网络的快速学习成为可能,且无需模型的并行化。

原文发布于微信公众号 - 人工智能快报(AI_News)

原文发表时间:2016-11-21

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏ATYUN订阅号

谷歌发布What-If工具:无需代码即可分析ML模型

构建有效的ML系统意味着提出了很多问题。仅训练模型是不够的。相反,优秀的从业者像侦探一样,探索并更好地理解他们的模型:数据点的变化将如何影响我的模型的预测?它对...

2053
来自专栏人工智能快报

富士通推出优化深度学习应用的电路设计

据富士通公司官网报道,富士通实验室开发了一种具有唯一数值表示的电路技术,可以减少计算中使用的数据位宽,并能基于深度学习训练计算的特点,根据分布统计信息来自动控制...

2795
来自专栏算法channel

Python神经网络| 一篇很棒的 手写字识别 实战

感谢粉丝:疯琴,以下分享是疯琴在学习《Python神经网络》时的笔记,总结得很棒,感谢疯琴的乐于分享精神,相信系列笔记一定会帮助到大家。

1270
来自专栏机器之心

学界 | UCSB提出变分知识图谱推理:在KG中引入变分推理框架

选自arXiv 作者:Wenhu Chen等 机器之心编译 参与:张楚、思源 推理知识图谱中缺失的连接已经吸引了研究界的广泛关注。在本论文中,加州大学圣塔芭芭拉...

3856
来自专栏AI科技评论

干货 | Machine Can See 2018 图像对抗攻击大赛比赛心得

AI 科技评论按:这篇文章来自俄罗斯数据科学家、机器学习爱好者、创业公司的计算机视觉研究员 Alexander Aveysov。他参加了 2018 年度的「Ma...

1252
来自专栏AI科技评论

开发 | 无需编程,仅用摄像头,Google最新项目让你3分钟学会机器学习

得益于各种套件,今天的机器学习的门槛已经越来越低。但Google显然并不满足于此,其最新推出了Teachable Machine项目,让用户无需编程就可以用手机...

2868
来自专栏PPV课数据科学社区

人人都应该掌握的9种数据分析思维-深度学习世界

说到数据分析,啤酒和尿布的例子大家应该都听腻了。再具体、深入一些的内容,往往因为数学就令很多人望而却步了。给大家分享9个不带数学推导的数据分析思路,希望大家能喜...

31712
来自专栏ATYUN订阅号

声音分类的迁移学习

识别我们周围环境中的声音是我们人类每天很轻松就能做到的事情,但是对于计算机相当困难。如果计算机可以准确识别声音,它将会在机器人,安全和许多其他领域得到广泛应用。...

3914
来自专栏企鹅号快讯

通过人工神经网络探讨信号完整性的未来

想象一下,如果电脑或机器人可以完成所有枯燥乏味的工作,我们就能享受生活、做更多有意义的事(如图1所示)。这些绝对是许多学术界、工业界研究人员的愿望。工程师的最终...

1995
来自专栏机器之心

教程 | 用Python实现类FaceID的人脸识别?一文告诉你该怎么做

选自Medium 作者:Norman Di Palo 机器之心编译 参与:路雪 本文介绍了如何使用 Python 在 Keras 框架上实现 FaceID,对 ...

4107

扫码关注云+社区